Архивы Из жизни - Страница 2 из 70

ГИС ЖКХ — подпись сообщений

10.06.2025 Павел Грибов Linux, Из жизни

Ранее уже описывал как поднять защищенный туннель с ГИС ЖКХ.Теперь настало время научится делать запросы. Для этого их необходимо подписывать. Подписывается тело сообщения XML заключенное внутри тега body:

Сохраню его в файл in.xml. Далее для работы понадобится сертификат в формате x.509, он выгружается в формате BASE64 из Крипто-про

Понадобится он в бинарном виде:

cat 509.base64 | base64 -d >509.bin

1	cat 509.base64 \| base64 -d >509.bin

Далее собираем следующую рыбу:

<ds:Signature Id="xmldsig-{signature_id}"
	xmlns:ds="http://www.w3.org/2000/09/xmldsig#">
	<ds:SignedInfo>
		<ds:CanonicalizationMethod Algorithm="http://www.w3.org/TR/2001/REC-xml-c14n-20010315"/>
		<ds:SignatureMethod Algorithm="http://www.w3.org/2001/04/xmldsig-more#gostr34102001-gostr3411"/>
		<ds:Reference Id="xmldsig-{signature_id}-ref0" URI="#{signed_id}">
			<ds:Transforms>
				<ds:Transform Algorithm="http://www.w3.org/2000/09/xmldsig#enveloped-signature"/>
				<ds:Transform Algorithm="http://www.w3.org/2001/10/xml-exc-c14n#"/>
			</ds:Transforms>
			<ds:DigestMethod Algorithm="http://www.w3.org/2001/04/xmldsig-more#gostr3411"/>
			<ds:DigestValue>{digest1}</ds:DigestValue>
		</ds:Reference>
		<ds:Reference Type="http://uri.etsi.org/01903#SignedProperties" URI="#xmldsig-{signature_id}-signedprops">
			<ds:DigestMethod Algorithm="http://www.w3.org/2001/04/xmldsig-more#gostr3411"/>
			<ds:DigestValue>{digest3}</ds:DigestValue>
		</ds:Reference>
	</ds:SignedInfo>
	<ds:SignatureValue Id="xmldsig-{signature_id}-sigvalue">
{signature_value}
</ds:SignatureValue>
	<ds:KeyInfo
		xmlns:ds="http://www.w3.org/2000/09/xmldsig#">
		<ds:X509Data>
			<ds:X509Certificate>
{x590_cert}
</ds:X509Certificate>
		</ds:X509Data>
	</ds:KeyInfo>
	<ds:Object>
		<xades:QualifyingProperties Target="#xmldsig-{signature_id}"
			xmlns:xades="http://uri.etsi.org/01903/v1.3.2#"
			xmlns:xades141="http://uri.etsi.org/01903/v1.4.1#">
			<xades:SignedProperties Id="xmldsig-{signature_id}-signedprops">
				<xades:SignedSignatureProperties>
					<xades:SigningTime>{signing_time}</xades:SigningTime>
					<xades:SigningCertificate>
						<xades:Cert>
							<xades:CertDigest>
								<ds:DigestMethod Algorithm="http://www.w3.org/2001/04/xmldsig-more#gostr3411"/>
								<ds:DigestValue>{digest2}</ds:DigestValue>
							</xades:CertDigest>
							<xades:IssuerSerial>
								<ds:X509IssuerName>{x509_issuer_name}</ds:X509IssuerName>
								<ds:X509SerialNumber>{x509_sn}</ds:X509SerialNumber>
							</xades:IssuerSerial>
						</xades:Cert>
					</xades:SigningCertificate>
				</xades:SignedSignatureProperties>
			</xades:SignedProperties>
		</xades:QualifyingProperties>
	</ds:Object>
</ds:Signature>

<ds:Signature Id="xmldsig-{signature_id}"

xmlns:ds="http://www.w3.org/2000/09/xmldsig#">

<ds:SignedInfo>

<ds:CanonicalizationMethod Algorithm="http://www.w3.org/TR/2001/REC-xml-c14n-20010315"/>

<ds:SignatureMethod Algorithm="http://www.w3.org/2001/04/xmldsig-more#gostr34102001-gostr3411"/>

<ds:Reference Id="xmldsig-{signature_id}-ref0" URI="#{signed_id}">

<ds:Transforms>

<ds:Transform Algorithm="http://www.w3.org/2000/09/xmldsig#enveloped-signature"/>

<ds:Transform Algorithm="http://www.w3.org/2001/10/xml-exc-c14n#"/>

</ds:Transforms>

<ds:DigestMethod Algorithm="http://www.w3.org/2001/04/xmldsig-more#gostr3411"/>

<ds:DigestValue>{digest1}</ds:DigestValue>

</ds:Reference>

<ds:Reference Type="http://uri.etsi.org/01903#SignedProperties" URI="#xmldsig-{signature_id}-signedprops">

<ds:DigestMethod Algorithm="http://www.w3.org/2001/04/xmldsig-more#gostr3411"/>

<ds:DigestValue>{digest3}</ds:DigestValue>

</ds:Reference>

</ds:SignedInfo>

<ds:SignatureValue Id="xmldsig-{signature_id}-sigvalue">

{signature_value}

</ds:SignatureValue>

<ds:KeyInfo

xmlns:ds="http://www.w3.org/2000/09/xmldsig#">

<ds:X509Data>

<ds:X509Certificate>

{x590_cert}

</ds:X509Certificate>

</ds:X509Data>

</ds:KeyInfo>

<ds:Object>

<xades:QualifyingProperties Target="#xmldsig-{signature_id}"

xmlns:xades="http://uri.etsi.org/01903/v1.3.2#"

xmlns:xades141="http://uri.etsi.org/01903/v1.4.1#">

<xades:SignedProperties Id="xmldsig-{signature_id}-signedprops">

<xades:SignedSignatureProperties>

<xades:SigningTime>{signing_time}</xades:SigningTime>

<xades:SigningCertificate>

<xades:Cert>

<xades:CertDigest>

<ds:DigestMethod Algorithm="http://www.w3.org/2001/04/xmldsig-more#gostr3411"/>

<ds:DigestValue>{digest2}</ds:DigestValue>

</xades:CertDigest>

<xades:IssuerSerial>

<ds:X509IssuerName>{x509_issuer_name}</ds:X509IssuerName>

<ds:X509SerialNumber>{x509_sn}</ds:X509SerialNumber>

</xades:IssuerSerial>

</xades:Cert>

</xades:SigningCertificate>

</xades:SignedSignatureProperties>

</xades:SignedProperties>

</xades:QualifyingProperties>

</ds:Object>

</ds:Signature>

digest1 считается как хеш-сумма по ГОСТу и выводится в виде BASE64 содержимым тега body (см. выше)

cat in.xml | openssl dgst -engine gost -md_gost94  -binary | base64 >digest1

1	cat in.xml \| openssl dgst -engine gost -md_gost94 -binary \| base64 >digest1

digest2 считается как хэш-сумма бинарного файла сертификата x509 и преобразованное в base64:

cat 509.bin | openssl dgst -engine gost -md_gost94 -binary | base64 >digest2

Далее заполняем блок SignedProperties, а в частности поля x509_issuer_name и x509_sn. Их можно получить соответственно командами:

openssl x509 -in cert.pem -serial -nameopt sep_multiline,utf8 -noout
openssl x509 -in cert.pem -issuer -nameopt sep_multiline,utf8 -noout

1 2	openssl x509 -in cert.pem -serial -nameopt sep_multiline,utf8 -noout openssl x509 -in cert.pem -issuer -nameopt sep_multiline,utf8 -noout

Причем x509_issuer_name нужно привести к виду:

cn=Тестовый УЦ ООО \»КРИПТО-ПРО\»,o=ООО \»КРИПТО-ПРО\»,l=Москва,st=г. Москва,c=RU,street=ул. Сущёвский вал д.18,1.2.643.3.131.1.1=001234567890,1.2.643.100.1=1234567890123

Тег emailaddress, заменяется на 1.2.840.113549.1.9.1, inn на 1.2.643.100.4, а ogrn на 13 1.2.643.100.1

Теперь необходимо подписать то, что мы заполнили между тегами SignedInfo. У меня получилось что-то вроде:

<xd:SignedInfo
	xmlns:base="http://dom.gosuslugi.ru/schema/integration/base/"
	xmlns:drs="http://dom.gosuslugi.ru/schema/integration/drs/"
	xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/"
	xmlns:xd="http://www.w3.org/2000/09/xmldsig#">
	<xd:CanonicalizationMethod Algorithm="http://www.w3.org/TR/2001/REC-xml-c14n-20010315"></xd:CanonicalizationMethod>
	<xd:SignatureMethod Algorithm="http://www.w3.org/2001/04/xmldsig-more#gostr34102001-gostr3411"></xd:SignatureMethod>
	<xd:Reference Id="xmldsig-e99d1872-укепкеп54e8bb16d4-ref0" URI="#f9f93dкепуке6-11e5-b4ae-1c6f65dfe2b1">
		<xd:Transforms>
			<xd:Transform Algorithm="http://www.w3.org/2000/09/xmldsig#enveloped-signature"></xd:Transform>
			<xd:Transform Algorithm="http://www.w3.org/2001/10/xml-exc-c14n#"></xd:Transform>
		</xd:Transforms>
		<xd:DigestMethod Algorithm="http://www.w3.org/2001/04/xmldsig-more#gostr3411"></xd:DigestMethod>
		<xd:DigestValue>b\'укепукепукепке/imNA=\'</xd:DigestValue>
	</xd:Reference>
	<xd:Reference Type="http://uri.etsi.org/01903#SignedProperties" URI="#xmldsig-e99d1872-4534-11f0-b35a-e454e8bb16d4-signedprops">
		<xd:DigestMethod Algorithm="http://www.w3.org/2001/04/xmldsig-more#gostr3411"></xd:DigestMethod>
		<xd:DigestValue>DLYx2a/3ц4кц34к3/XQtrUiKviYQ=</xd:DigestValue>
	</xd:Reference>
</xd:SignedInfo>

<xd:SignedInfo

xmlns:base="http://dom.gosuslugi.ru/schema/integration/base/"

xmlns:drs="http://dom.gosuslugi.ru/schema/integration/drs/"

xmlns:soapenv="http://schemas.xmlsoap.org/soap/envelope/"

xmlns:xd="http://www.w3.org/2000/09/xmldsig#">

<xd:CanonicalizationMethod Algorithm="http://www.w3.org/TR/2001/REC-xml-c14n-20010315"></xd:CanonicalizationMethod>

<xd:SignatureMethod Algorithm="http://www.w3.org/2001/04/xmldsig-more#gostr34102001-gostr3411"></xd:SignatureMethod>

<xd:Reference Id="xmldsig-e99d1872-укепкеп54e8bb16d4-ref0" URI="#f9f93dкепуке6-11e5-b4ae-1c6f65dfe2b1">

<xd:Transforms>

<xd:Transform Algorithm="http://www.w3.org/2000/09/xmldsig#enveloped-signature"></xd:Transform>

<xd:Transform Algorithm="http://www.w3.org/2001/10/xml-exc-c14n#"></xd:Transform>

</xd:Transforms>

<xd:DigestMethod Algorithm="http://www.w3.org/2001/04/xmldsig-more#gostr3411"></xd:DigestMethod>

<xd:DigestValue>b\'укепукепукепке/imNA=\'</xd:DigestValue>

</xd:Reference>

<xd:Reference Type="http://uri.etsi.org/01903#SignedProperties" URI="#xmldsig-e99d1872-4534-11f0-b35a-e454e8bb16d4-signedprops">

<xd:DigestMethod Algorithm="http://www.w3.org/2001/04/xmldsig-more#gostr3411"></xd:DigestMethod>

<xd:DigestValue>DLYx2a/3ц4кц34к3/XQtrUiKviYQ=</xd:DigestValue>

</xd:Reference>

</xd:SignedInfo>

Подпись осуществляется так:

openssl dgst -sign key.key -out to_sign.sig -binary to_sign

Подпись сохранилась в файл to_sign.sig, помещаем содержимое внутри тега SignatureValue и получившийся таким образом файл пробуем отправить в ГИС ЖКХ.

Некоторые заметки:

1) Как вытащить закрытый ключ с флешки с подписью — нужно воспользоваться утилитой P12FromGostCSP. Если вы пользовались чем-то другим, то с большой долей вероятностью получите ошибку:

root@vlg1w-bb16d4:/home/укацук@укацук.ru/Desktop/ЖКХ/БоевыеКлючи# openssl pkcs12 -in укацук.p12 -engine gost
engine "gost" set.
Enter Import Password:
Bag Attributes
    localKeyID: 01 00 00 00 
    friendlyName: e3йуцвйцуd8c1319fa1d5
    Microsoft CSP Name: Crypto-Pro GOST R 34.10-2012 KC1 CSP
Error outputting keys and certificates
140097466021056:error:06074079:digital envelope routines:EVP_PBE_CipherInit:unknown pbe algorithm:../crypto/evp/evp_pbe.c:95:TYPE=1.2.840.113549.1.12.1.80
140097466021056:error:23077073:PKCS12 routines:PKCS12_pbe_crypt:pkcs12 algor cipherinit error:../crypto/pkcs12/p12_decr.c:41:
140097466021056:error:2306A075:PKCS12 routines:PKCS12_item_decrypt_d2i:pkcs12 pbe crypt error:../crypto/pkcs12/p12_decr.c:94:

root@vlg1w-bb16d4:/home/укацук@укацук.ru/Desktop/ЖКХ/БоевыеКлючи# openssl pkcs12 -in укацук.p12 -engine gost

engine "gost" set.

Enter Import Password:

Bag Attributes

localKeyID: 01 00 00 00

friendlyName: e3йуцвйцуd8c1319fa1d5

Microsoft CSP Name: Crypto-Pro GOST R 34.10-2012 KC1 CSP

Error outputting keys and certificates

140097466021056:error:06074079:digital envelope routines:EVP_PBE_CipherInit:unknown pbe algorithm:../crypto/evp/evp_pbe.c:95:TYPE=1.2.840.113549.1.12.1.80

140097466021056:error:23077073:PKCS12 routines:PKCS12_pbe_crypt:pkcs12 algor cipherinit error:../crypto/pkcs12/p12_decr.c:41:

140097466021056:error:2306A075:PKCS12 routines:PKCS12_item_decrypt_d2i:pkcs12 pbe crypt error:../crypto/pkcs12/p12_decr.c:94:

2) Формировать подпись или через КриптоПро или через OpenSSL.

3) Есть готовая утилита для формирования шапки с подписью написанная на Python 2.7. Я её перевел на Python3, сделав минимальные косметические изменения. В принципе работает. Скачать тут

Update 16.06.2025: на текущий момент не удалось достичь успешной отправки запроса в ГИС ЖКХ. Ошибка:

  "ErrorCode": "AUT011005",
  "Description": "Ошибка формата подписи запроса"

1 2	"ErrorCode": "AUT011005", "Description": "Ошибка формата подписи запроса"

Подпись не подходит ни крипто-про:

/opt/cprocsp/bin/amd64/csptest -keyset -cont 'HDIMAGE\\e32681d3.000\A3EB' -sign 'GOST12_256' -keytype exchange -in for_sign.xml -out for_sign.xml.sgn |cat for_sign.xml.sgn| base64 -w 0

1	/opt/cprocsp/bin/amd64/csptest -keyset -cont 'HDIMAGE\\e32681d3.000\A3EB' -sign 'GOST12_256' -keytype exchange -in for_sign.xml -out for_sign.xml.sgn \|cat for_sign.xml.sgn\| base64 -w 0

Ни OpenSSL:

cat for_sign.xml | openssl dgst -md_gost12_256 -sign priv.key -binary | base64 -w 0

1	cat for_sign.xml \| openssl dgst -md_gost12_256 -sign priv.key -binary \| base64 -w 0

Оставить комментарий гис жкх, запросы, подпись

Mozilla Thunderbird и Exchange

28.05.2025 Павел Грибов WEB, Мысли по ИТ

Штатно этот почтовый клиент не поддерживает работу с этим сервисом. Что чрезвычайно странно. Возможно как-то связано как обычно с политикой Microsoft. Для того чтобы научить работать Thunderbird c Exchange необходимо воспользоваться расширениями. Коих ровно два. Которые по сути один с разными названиями. Которые платные. Которые оплатить нельзя потому что потому. Пришлось стать «благородным пиратом», потому что я не согласен с дискриминацией по национальной принадлежности. Ниже ссылка на «взломанную» версию данного плагина:

eule_fur_exchange-1.3.8-tb Скачать

P.S. Как только появится возможность купить данное расширение, файл незамедлительно уберу, и расширение куплю.

Загрузка ...

Оставить комментарий exchange, Mozilla Thunderbird, благородный пират, взломанная версия, расширение

Парсинг новостей групп VK

30.01.2025 Павел Грибов Python, Из жизни

В продолжение предыдущей статьи, появилась необходимость парсить так-же и новости в социальной сети vk с проверкой на наличие стоп-слов. Для этого воспользовался модулем vk на python. Так-же понадобится токен доступа полученный на https://vk.com/apps?act=manage

В итоге код получился примерно следующий:

#!/usr/bin/env python3
# encoding: utf-8
import vk
import json
import funcs

with open('config.json', 'r') as file:
    config_data = json.load(file)
    print(config_data)


api = vk.API(access_token=config_data["vk_api_token"],v='5.131')

for group in config_data["groups"]:
    chan_data = funcs.get_chan_json(group)
    skeep_after = chan_data["las_id"]
    wall_content = api.wall.get(domain=group, count=config_data["limit"])
    poz = 0
    for message in wall_content["items"]:
        #print(message)
        if poz == 0:
            chan_data["las_id"] = message["id"]
            funcs.save_chan_json(group, chan_data)
        if skeep_after == message["id"]:
            print("Все новости уже прочитаны...")
            break
        for word in config_data["alert_words"]:
          if word in message["text"]:
              print(f"--нашли слово {word}")
              funcs.SendMailVK(config_data,group, word, message)
              print(message)
        poz = poz + 1
print("all done..");

#!/usr/bin/env python3

# encoding: utf-8

import vk

import json

import funcs

with open('config.json', 'r') as file:

config_data = json.load(file)

print(config_data)

api = vk.API(access_token=config_data["vk_api_token"],v='5.131')

for group in config_data["groups"]:

chan_data = funcs.get_chan_json(group)

skeep_after = chan_data["las_id"]

wall_content = api.wall.get(domain=group, count=config_data["limit"])

poz = 0

for message in wall_content["items"]:

#print(message)

if poz == 0:

chan_data["las_id"] = message["id"]

funcs.save_chan_json(group, chan_data)

if skeep_after == message["id"]:

print("Все новости уже прочитаны...")

break

for word in config_data["alert_words"]:

if word in message["text"]:

print(f"--нашли слово {word}")

funcs.SendMailVK(config_data,group, word, message)

print(message)

poz = poz + 1

print("all done..");

По сути код очень простой — получаем через API VK все последние новости из каждой группы. Если в тексте новости находим стоп-слово, то отправляем соответствующее письмо. Так-же использую дополнительный файл функций, которые далее использую во всех парсерах:

#!/usr/bin/env python3
#encoding: utf-8
import json
from datetime import datetime
import smtplib
from email.mime.multipart import MIMEMultipart
from email.mime.text import MIMEText
from telethon.tl.functions.contacts import ResolveUsernameRequest
from telethon.tl.functions.channels import GetMessagesRequest
from telethon.tl.functions.messages import GetHistoryRequest, ReadHistoryRequest

def save_chan_json(chan,chan_data):
    f = open('saves/'+chan + '.json', "w+")
    json.dump(chan_data, f)
    f.close()

def get_chan_json(chan):
    # узнаём какое последнее сообщение прочитали на канале?
    chan_data = {}
    chan_data["las_id"] = 0
    try:
        with open('saves/'+chan + '.json', 'r') as file:
            chan_data = json.load(file)
            print(chan_data)
            return chan_data
    except:
        save_chan_json(chan, chan_data)
        return chan_data
    return chan_data;


def SendMail(config_data,chan,word,message):
    msg = MIMEMultipart()
    msg['Subject'] = f"Найдено слово '{word}' в новости на канале {chan} в Телеграм"
    msg.add_header('Content-Type', 'text/html')
    message.text=message.text.replace(word,"<strong>"+word+"</strong>")
    dt_pub=message.date.strftime('%d-%m-%Y %H:%M:%S')
    msg.set_payload(f"Канал: <a href='https://vc.com/{chan}'>https://t.me/{chan}</a>, опубликовано {dt_pub}<hr/>"+message.text)

    smtpObj = smtplib.SMTP(config_data["smtp_server"], config_data["smtp_port"])
    smtpObj.starttls()
    smtpObj.login(config_data["email_login"], config_data["from_password"])
    smtpObj.sendmail(config_data["email_from"], config_data["notify_email"], msg.as_string().encode('utf-8'))
    smtpObj.quit()

def SendMailVK(config_data,chan,word,message):
    msg = MIMEMultipart()
    msg['Subject'] = f"Найдено слово '{word}' в новости на группе {chan} в VK"
    msg.add_header('Content-Type', 'text/html')
    message["text"]=message["text"].replace(word,"<strong>"+word+"</strong>")
    dt_pub=datetime.utcfromtimestamp(message["date"]).strftime('%d-%m-%Y %H:%M:%S')
    msg.set_payload(f"Группа: <a href='https://vc.com/{chan}'>https://vk.com/{chan}</a>, опубликовано {dt_pub}<hr/>"+message["text"])

    smtpObj = smtplib.SMTP(config_data["smtp_server"], config_data["smtp_port"])
    smtpObj.starttls()
    smtpObj.login(config_data["email_login"], config_data["from_password"])
    smtpObj.sendmail(config_data["email_from"], config_data["notify_email"], msg.as_string().encode('utf-8'))
    smtpObj.quit()

def SendMailNews(config_data,url,word,message):
    msg = MIMEMultipart()
    msg['Subject'] = f"Найдено слово '{word}' в новости на сайте {url}"
    msg.add_header('Content-Type', 'text/html')
    if message.get("href")!=None:
     message.string="<a href='"+message["href"]+"'>"+message.string.replace(word,"<strong>"+word+"</strong>")+"</a>"
    else:
        message.string = message.string.replace(word,"<strong>" + word + "</strong>")
    msg.set_payload(message.string)

    smtpObj = smtplib.SMTP(config_data["smtp_server"], config_data["smtp_port"])
    smtpObj.starttls()
    smtpObj.login(config_data["email_login"], config_data["from_password"])
    smtpObj.sendmail(config_data["email_from"], config_data["notify_email"], msg.as_string().encode('utf-8'))
    smtpObj.quit()

#!/usr/bin/env python3

#encoding: utf-8

import json

from datetime import datetime

import smtplib

from email.mime.multipart import MIMEMultipart

from email.mime.text import MIMEText

from telethon.tl.functions.contacts import ResolveUsernameRequest

from telethon.tl.functions.channels import GetMessagesRequest

from telethon.tl.functions.messages import GetHistoryRequest, ReadHistoryRequest

def save_chan_json(chan,chan_data):

f = open('saves/'+chan + '.json', "w+")

json.dump(chan_data, f)

f.close()

def get_chan_json(chan):

# узнаём какое последнее сообщение прочитали на канале?

chan_data = {}

chan_data["las_id"] = 0

try:

with open('saves/'+chan + '.json', 'r') as file:

chan_data = json.load(file)

print(chan_data)

return chan_data

except:

save_chan_json(chan, chan_data)

return chan_data

return chan_data;

def SendMail(config_data,chan,word,message):

msg = MIMEMultipart()

msg['Subject'] = f"Найдено слово '{word}' в новости на канале {chan} в Телеграм"

msg.add_header('Content-Type', 'text/html')

message.text=message.text.replace(word,""+word+"")

dt_pub=message.date.strftime('%d-%m-%Y %H:%M:%S')

msg.set_payload(f"Канал: <a href='https://vc.com/{chan}'>https://t.me/{chan}</a>, опубликовано {dt_pub}<hr/>"+message.text)

smtpObj = smtplib.SMTP(config_data["smtp_server"], config_data["smtp_port"])

smtpObj.starttls()

smtpObj.login(config_data["email_login"], config_data["from_password"])

smtpObj.sendmail(config_data["email_from"], config_data["notify_email"], msg.as_string().encode('utf-8'))

smtpObj.quit()

def SendMailVK(config_data,chan,word,message):

msg = MIMEMultipart()

msg['Subject'] = f"Найдено слово '{word}' в новости на группе {chan} в VK"

msg.add_header('Content-Type', 'text/html')

message["text"]=message["text"].replace(word,""+word+"")

dt_pub=datetime.utcfromtimestamp(message["date"]).strftime('%d-%m-%Y %H:%M:%S')

msg.set_payload(f"Группа: <a href='https://vc.com/{chan}'>https://vk.com/{chan}</a>, опубликовано {dt_pub}<hr/>"+message["text"])

smtpObj = smtplib.SMTP(config_data["smtp_server"], config_data["smtp_port"])

smtpObj.starttls()

smtpObj.login(config_data["email_login"], config_data["from_password"])

smtpObj.sendmail(config_data["email_from"], config_data["notify_email"], msg.as_string().encode('utf-8'))

smtpObj.quit()

def SendMailNews(config_data,url,word,message):

msg = MIMEMultipart()

msg['Subject'] = f"Найдено слово '{word}' в новости на сайте {url}"

msg.add_header('Content-Type', 'text/html')

if message.get("href")!=None:

message.string="<a href='"+message["href"]+"'>"+message.string.replace(word,""+word+"")+"</a>"

else:

message.string = message.string.replace(word,"" + word + "")

msg.set_payload(message.string)

smtpObj = smtplib.SMTP(config_data["smtp_server"], config_data["smtp_port"])

smtpObj.starttls()

smtpObj.login(config_data["email_login"], config_data["from_password"])

smtpObj.sendmail(config_data["email_from"], config_data["notify_email"], msg.as_string().encode('utf-8'))

smtpObj.quit()

Оставить комментарий python, vk, парсинг новостей групп

Консоль администрирования 1С под Linux

25.11.2024 Павел Грибов 1C, Из жизни

Перейдя с Windows на Linux, теряется возможность управлять сервером 1С Предприятие через консоль администрирования, через оснастку. Но! оказывается довольно давно уже в платформе зашита подобная же утилита, которая доступна через «Функции для технического специалиста»: Стандартные -> Управление серверами.

При запуске будет практически аналогичная функциональность доступная ранее через консоль:

Оставить комментарий linux, консоль администрирования

1С: Фоновые задания внутри фоновых заданий

15.11.2024 Павел Грибов 1C, Из жизни

Задача: распаралелить медленную вставку записей в БД 1С, при чтении файла Excel

Как ни странно, но такая возможность есть и работает начиная с версии платформы 8.3.8. Т.е. можно запустить фоновое задание внутри фонового задания….ну например по вставке в БД большого количества записей, которая выполняется весьма медленно. Полноценно этот процесс распаралелить можно например как-то так:

Функция СделатьЗаписьвБДПДЗФоново(парам) экспорт
	...
    // делаем медленную запись в БД
	...
конецфункции	

// Просматриваем массив с идентификаторами фоновых заданий и удаляем те которые завершились
Функция ПочиститьМассивОтЗавершенныхЗаданий(МассивФоновыхЗаданий) экспорт
		для каждого ФЗМ из МассивФоновыхЗаданий цикл
			ФЗ = ФоновыеЗадания.НайтиПоУникальномуИдентификатору(ФЗМ);
			если ФЗ.Состояние<>СостояниеФоновогоЗадания.Активно тогда
				МассивФоновыхЗаданий.Удалить(МассивФоновыхЗаданий.Найти(ФЗМ));
			конецесли;	
		конеццикла;		
	возврат МассивФоновыхЗаданий;
конецфункции		

// выполняем загрузку построчно файла Excel, запуская запись данных в БД
// отдельным потоком. Количество потоков ограничивам 10 штуками
Функция ВыполнитьЗагрузку(парам) экспорт
	МассивФоновыхЗаданий=Новый Массив();
	МаксимумЗаданий=10;
...
    Для	 нСтрокаТФ = 2 ПО КолВоСтрокФайла Цикл  
        ....
			МассивПараметров = Новый Массив;
			Параметры=Новый Структура("aa,bb,cc",
				1,
				2,
				3,
            );
			МассивПараметров.Добавить(Параметры);
			ФЗ = ФоновыеЗадания.Выполнить("ДлительныеОперации.СделатьЗаписьвБДПДЗФоново",МассивПараметров);	
			МассивФоновыхЗаданий.Добавить(ФЗ.УникальныйИдентификатор);											
			МассивФоновыхЗаданий=ПочиститьМассивОтЗавершенныхЗаданий(МассивФоновыхЗаданий);
			// ждём пока завершаться запущеные потоки, если их больше 10
			пока МассивФоновыхЗаданий.Количество()>МаксимумЗаданий цикл
				МассивФоновыхЗаданий=ПочиститьМассивОтЗавершенныхЗаданий(МассивФоновыхЗаданий);
			конеццикла;	        
        ....
   конеццикла;
конецфункции

Функция СделатьЗаписьвБДПДЗФоново(парам) экспорт

...

// делаем медленную запись в БД

...

конецфункции

// Просматриваем массив с идентификаторами фоновых заданий и удаляем те которые завершились

Функция ПочиститьМассивОтЗавершенныхЗаданий(МассивФоновыхЗаданий) экспорт

для каждого ФЗМ из МассивФоновыхЗаданий цикл

ФЗ = ФоновыеЗадания.НайтиПоУникальномуИдентификатору(ФЗМ);

если ФЗ.Состояние<>СостояниеФоновогоЗадания.Активно тогда

МассивФоновыхЗаданий.Удалить(МассивФоновыхЗаданий.Найти(ФЗМ));

конецесли;

конеццикла;

возврат МассивФоновыхЗаданий;

конецфункции

// выполняем загрузку построчно файла Excel, запуская запись данных в БД

// отдельным потоком. Количество потоков ограничивам 10 штуками

Функция ВыполнитьЗагрузку(парам) экспорт

МассивФоновыхЗаданий=Новый Массив();

МаксимумЗаданий=10;

...

Для нСтрокаТФ = 2 ПО КолВоСтрокФайла Цикл

....

МассивПараметров = Новый Массив;

Параметры=Новый Структура("aa,bb,cc",

);

МассивПараметров.Добавить(Параметры);

ФЗ = ФоновыеЗадания.Выполнить("ДлительныеОперации.СделатьЗаписьвБДПДЗФоново",МассивПараметров);

МассивФоновыхЗаданий.Добавить(ФЗ.УникальныйИдентификатор);

МассивФоновыхЗаданий=ПочиститьМассивОтЗавершенныхЗаданий(МассивФоновыхЗаданий);

// ждём пока завершаться запущеные потоки, если их больше 10

пока МассивФоновыхЗаданий.Количество()>МаксимумЗаданий цикл

МассивФоновыхЗаданий=ПочиститьМассивОтЗавершенныхЗаданий(МассивФоновыхЗаданий);

конеццикла;

....

конеццикла;

конецфункции

В ниже приведённом каркасе кода, фоново выполняется функция ВыполнитьЗагрузку(), которая читает большой файл Excel, затем каждый цикл вставки записи в БД запускает в свою очередь фоново, ограничивая в данном случае количество фоновых заданий 10 штуками.

Оставить комментарий 1c, 1с, фоновые задания

« 1 2 3 4 … 70 »

Октябрь 2025
Пн	Вт	Ср	Чт	Пт	Сб	Вс
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31