Архивы 1c

1С: Фоновые задания внутри фоновых заданий

15.11.2024 Павел Грибов 1C, Из жизни

Задача: распаралелить медленную вставку записей в БД 1С, при чтении файла Excel

Как ни странно, но такая возможность есть и работает начиная с версии платформы 8.3.8. Т.е. можно запустить фоновое задание внутри фонового задания….ну например по вставке в БД большого количества записей, которая выполняется весьма медленно. Полноценно этот процесс распаралелить можно например как-то так:

Функция СделатьЗаписьвБДПДЗФоново(парам) экспорт
	...
    // делаем медленную запись в БД
	...
конецфункции	

// Просматриваем массив с идентификаторами фоновых заданий и удаляем те которые завершились
Функция ПочиститьМассивОтЗавершенныхЗаданий(МассивФоновыхЗаданий) экспорт
		для каждого ФЗМ из МассивФоновыхЗаданий цикл
			ФЗ = ФоновыеЗадания.НайтиПоУникальномуИдентификатору(ФЗМ);
			если ФЗ.Состояние<>СостояниеФоновогоЗадания.Активно тогда
				МассивФоновыхЗаданий.Удалить(МассивФоновыхЗаданий.Найти(ФЗМ));
			конецесли;	
		конеццикла;		
	возврат МассивФоновыхЗаданий;
конецфункции		

// выполняем загрузку построчно файла Excel, запуская запись данных в БД
// отдельным потоком. Количество потоков ограничивам 10 штуками
Функция ВыполнитьЗагрузку(парам) экспорт
	МассивФоновыхЗаданий=Новый Массив();
	МаксимумЗаданий=10;
...
    Для	 нСтрокаТФ = 2 ПО КолВоСтрокФайла Цикл  
        ....
			МассивПараметров = Новый Массив;
			Параметры=Новый Структура("aa,bb,cc",
				1,
				2,
				3,
            );
			МассивПараметров.Добавить(Параметры);
			ФЗ = ФоновыеЗадания.Выполнить("ДлительныеОперации.СделатьЗаписьвБДПДЗФоново",МассивПараметров);	
			МассивФоновыхЗаданий.Добавить(ФЗ.УникальныйИдентификатор);											
			МассивФоновыхЗаданий=ПочиститьМассивОтЗавершенныхЗаданий(МассивФоновыхЗаданий);
			// ждём пока завершаться запущеные потоки, если их больше 10
			пока МассивФоновыхЗаданий.Количество()>МаксимумЗаданий цикл
				МассивФоновыхЗаданий=ПочиститьМассивОтЗавершенныхЗаданий(МассивФоновыхЗаданий);
			конеццикла;	        
        ....
   конеццикла;
конецфункции

Функция СделатьЗаписьвБДПДЗФоново(парам) экспорт

...

// делаем медленную запись в БД

...

конецфункции

// Просматриваем массив с идентификаторами фоновых заданий и удаляем те которые завершились

Функция ПочиститьМассивОтЗавершенныхЗаданий(МассивФоновыхЗаданий) экспорт

для каждого ФЗМ из МассивФоновыхЗаданий цикл

ФЗ = ФоновыеЗадания.НайтиПоУникальномуИдентификатору(ФЗМ);

если ФЗ.Состояние<>СостояниеФоновогоЗадания.Активно тогда

МассивФоновыхЗаданий.Удалить(МассивФоновыхЗаданий.Найти(ФЗМ));

конецесли;

конеццикла;

возврат МассивФоновыхЗаданий;

конецфункции

// выполняем загрузку построчно файла Excel, запуская запись данных в БД

// отдельным потоком. Количество потоков ограничивам 10 штуками

Функция ВыполнитьЗагрузку(парам) экспорт

МассивФоновыхЗаданий=Новый Массив();

МаксимумЗаданий=10;

...

Для нСтрокаТФ = 2 ПО КолВоСтрокФайла Цикл

....

МассивПараметров = Новый Массив;

Параметры=Новый Структура("aa,bb,cc",

);

МассивПараметров.Добавить(Параметры);

ФЗ = ФоновыеЗадания.Выполнить("ДлительныеОперации.СделатьЗаписьвБДПДЗФоново",МассивПараметров);

МассивФоновыхЗаданий.Добавить(ФЗ.УникальныйИдентификатор);

МассивФоновыхЗаданий=ПочиститьМассивОтЗавершенныхЗаданий(МассивФоновыхЗаданий);

// ждём пока завершаться запущеные потоки, если их больше 10

пока МассивФоновыхЗаданий.Количество()>МаксимумЗаданий цикл

МассивФоновыхЗаданий=ПочиститьМассивОтЗавершенныхЗаданий(МассивФоновыхЗаданий);

конеццикла;

....

конеццикла;

конецфункции

В ниже приведённом каркасе кода, фоново выполняется функция ВыполнитьЗагрузку(), которая читает большой файл Excel, затем каждый цикл вставки записи в БД запускает в свою очередь фоново, ограничивая в данном случае количество фоновых заданий 10 штуками.

Оставить комментарий 1c, 1с, фоновые задания

1С: чтение почты по протоколу IMAP

28.05.2024 Павел Грибов 1C

Прилетела задача прочитать сообщение из почтового ящика по протоколу IMAP. Последнее из пришедших. В принципе в 1С есть штатный функционал для чтения почты, поэтому пример всё сам расскажет за себя:

Процедура ЧитнутьНаСервереImap()
	Профиль = Новый ИнтернетПочтовыйПрофиль;
	Профиль.АутентификацияPOP3 = Ложь;
	Профиль.АутентификацияSMTP = Ложь;
	
	// IMAP
	Профиль.ИспользоватьSSLIMAP = Истина;
	Профиль.АдресСервераIMAP = "цукацу-укацука.уцкацук.ru";
	Профиль.ПортIMAP = "993"; 	
	Профиль.ПользовательIMAP = "укацу@укацукау.ru";
	Профиль.ПарольIMAP = "цукацукацук";
	Профиль.ТолькоЗащищеннаяАутентификацияIMAP=Ложь;

	Почта = Новый ИнтернетПочта;
	Сообщ = Новый СообщениеПользователю();

		Почта.Подключиться(Профиль, ПротоколИнтернетПочты.IMAP); //ПротоколИнтернетПочты.POP3		
		заголовки=Почта.ПолучитьЗаголовки();
		если заголовки.Количество()>0 тогда		
			ПоследнийЗаголовок=Новый Массив();
			ПоследнийЗаголовок.Добавить(заголовки[заголовки.Количество()-1]);					
			МассивСообщений = Новый Массив;
			МассивСообщений = Почта.Выбрать(Ложь,ПоследнийЗаголовок);		
			
			ТекстСообщения=МассивСообщений[0].тексты[0].Текст;
			сообщить(ТекстСообщения);
		конецесли;
	
	Почта.Отключиться(); 

	

КонецПроцедуры

Процедура ЧитнутьНаСервереImap()

Профиль = Новый ИнтернетПочтовыйПрофиль;

Профиль.АутентификацияPOP3 = Ложь;

Профиль.АутентификацияSMTP = Ложь;

// IMAP

Профиль.ИспользоватьSSLIMAP = Истина;

Профиль.АдресСервераIMAP = "цукацу-укацука.уцкацук.ru";

Профиль.ПортIMAP = "993";

Профиль.ПользовательIMAP = "укацу@укацукау.ru";

Профиль.ПарольIMAP = "цукацукацук";

Профиль.ТолькоЗащищеннаяАутентификацияIMAP=Ложь;

Почта = Новый ИнтернетПочта;

Сообщ = Новый СообщениеПользователю();

Почта.Подключиться(Профиль, ПротоколИнтернетПочты.IMAP); //ПротоколИнтернетПочты.POP3

заголовки=Почта.ПолучитьЗаголовки();

если заголовки.Количество()>0 тогда

ПоследнийЗаголовок=Новый Массив();

ПоследнийЗаголовок.Добавить(заголовки[заголовки.Количество()-1]);

МассивСообщений = Новый Массив;

МассивСообщений = Почта.Выбрать(Ложь,ПоследнийЗаголовок);

ТекстСообщения=МассивСообщений[0].тексты[0].Текст;

сообщить(ТекстСообщения);

конецесли;

Почта.Отключиться();

КонецПроцедуры

Из особенностей логики — сначала вычитываю заголовки, т.к. если почты много, то чтение писем будет ОЧЕНЬ долгим. Далее получаю последний по счету заголовок, и вычитываю текст конкретно уже этого письма.

прочитать сообщение из почтового ящика по протоколу IMAP

Другие статьи по тегу 1С можете почитать тут

Оставить комментарий 1c, imap, почта

1C: Выгрузка и загрузка данных

18.07.2023 Павел Грибов 1C

Иногда бывает необходимо выгрузить данные из одной конфигурации и загрузить её в другую. Если конфигурации идентичны, или очень похожи, то можно воспользоваться обработкой «Выгрузка и загрузка данных XML».

В моём случае из-за небольшого фекапа с обновлением, потерялась часть данных в справочнике «файлы», а потому необходимо было выгрузить из конфигурации восстановленной из бекапа выгрузить данные в обновленную конфигурацию. Причём часть реквизитов в ней была изменена. Для реализации задуманного воспользуемся вкладкой «Дополнительные объекты для выгрузки», выбрав там данные «файл» и заполнив таблицу запросом:

ВЫБРАТЬ
	Файлы.Ссылка КАК Ссылка
ИЗ
	Справочник.Файлы КАК Файлы
ГДЕ
	Файлы.ВладелецФайла ССЫЛКА Документ.СК_ГР_ЗапросыГосуслуги

ВЫБРАТЬ

Файлы.Ссылка КАК Ссылка

ИЗ

Справочник.Файлы КАК Файлы

ГДЕ

Файлы.ВладелецФайла ССЫЛКА Документ.СК_ГР_ЗапросыГосуслуги

Далее в полученном файле XML необходимо добиться полной идентичности данных. В моём случае это достигается добавленим реквизита

<v8:ПодписанЭЦП>false</v8:ПодписанЭЦП>

1	<v8:ПодписанЭЦП>false</v8:ПодписанЭЦП>

После чего открываем обработку в целевой конфигурации и загружаем данные.

Оставить комментарий 1c, выгрузка и загрузка xml

1c: извлечение страницы из pdf документа

12.07.2023 Павел Грибов 1C

В настоящий момент в 1С нет встроенного средства для редактирования pdf документов, поэтому единственный выход — использовать внешние программы. Например — pdftk или ExtractPagePDF

Ниже пример реализации для ExtractPagePDF:

функция ИзвлечьСтраницуPDF(имяфайла,страница)
	answer=новый Структура("error,result",false,"");
		// вариант с ExtractPDF
		ПутьКПрограммеИзвлечения = lsОбщегоНазначенияСервер.ПутьКПрограммеРаботыСPDFФайлами();
		ИмяВременногоФайлаИзвлечения 	= ПолучитьИмяВременногоФайла("pdf");
		КаталогИзвлечения 				= ОбщегоНазначенияКлиентСервер.ДобавитьКонечныйРазделительПути(КаталогВременныхФайлов());			
		КодВозвратаКомпоненты = 1;
		ЗапуститьПриложение(ПутьКПрограммеИзвлечения + " 1 """ + имяфайла + """ """ + ИмяВременногоФайлаИзвлечения+""" "+Формат(страница,"ЧГ=0"), , Истина, КодВозвратаКомпоненты);			
		Если КодВозвратаКомпоненты <> 0 Тогда 				
				answer.error=true;      
				answer.result="Не удалось извлечь файлы счетов! для л/с ";
				возврат answer;
		КонецЕсли;
        answer.result=ИмяВременногоФайлаИзвлечения;	
		
		// вариант с pdftk			
		//ПутьКПрограммеИзвлечения = lsОбщегоНазначенияСервер.ПутьКПрограммеРаботыСPDFФайлами();
		//ИмяВременногоФайлаИзвлечения 	= ПолучитьИмяВременногоФайла("pdf");
		//КаталогИзвлечения 				= ОбщегоНазначенияКлиентСервер.ДобавитьКонечныйРазделительПути(КаталогВременныхФайлов());			
		//КодВозвратаКомпоненты = 1;      
		//страница=Формат(страница,"ЧГ=0");
		//ЗапуститьПриложение(ПутьКПрограммеИзвлечения +" """+ имяфайла + """ cat "+страница+" """ + ИмяВременногоФайлаИзвлечения+"""", , Истина, КодВозвратаКомпоненты);			
		//Если КодВозвратаКомпоненты <> 0 Тогда 				
		//		answer.error=true;      
		//		answer.result="Не удалось извлечь файлы счетов! для л/с ";
		//		возврат answer;
		//КонецЕсли;
		//answer.result=ИмяВременногоФайлаИзвлечения;	
		
		
		
	возврат answer;
конецфункции

функция ИзвлечьСтраницуPDF(имяфайла,страница)

answer=новый Структура("error,result",false,"");

// вариант с ExtractPDF

ПутьКПрограммеИзвлечения = lsОбщегоНазначенияСервер.ПутьКПрограммеРаботыСPDFФайлами();

ИмяВременногоФайлаИзвлечения = ПолучитьИмяВременногоФайла("pdf");

КаталогИзвлечения = ОбщегоНазначенияКлиентСервер.ДобавитьКонечныйРазделительПути(КаталогВременныхФайлов());

КодВозвратаКомпоненты = 1;

ЗапуститьПриложение(ПутьКПрограммеИзвлечения + " 1 """ + имяфайла + """ """ + ИмяВременногоФайлаИзвлечения+""" "+Формат(страница,"ЧГ=0"), , Истина, КодВозвратаКомпоненты);

Если КодВозвратаКомпоненты <> 0 Тогда

answer.error=true;

answer.result="Не удалось извлечь файлы счетов! для л/с ";

возврат answer;

КонецЕсли;

answer.result=ИмяВременногоФайлаИзвлечения;

// вариант с pdftk

//ПутьКПрограммеИзвлечения = lsОбщегоНазначенияСервер.ПутьКПрограммеРаботыСPDFФайлами();

//ИмяВременногоФайлаИзвлечения = ПолучитьИмяВременногоФайла("pdf");

//КаталогИзвлечения = ОбщегоНазначенияКлиентСервер.ДобавитьКонечныйРазделительПути(КаталогВременныхФайлов());

//КодВозвратаКомпоненты = 1;

//страница=Формат(страница,"ЧГ=0");

//ЗапуститьПриложение(ПутьКПрограммеИзвлечения +" """+ имяфайла + """ cat "+страница+" """ + ИмяВременногоФайлаИзвлечения+"""", , Истина, КодВозвратаКомпоненты);

//Если КодВозвратаКомпоненты <> 0 Тогда

// answer.error=true;

// answer.result="Не удалось извлечь файлы счетов! для л/с ";

// возврат answer;

//КонецЕсли;

//answer.result=ИмяВременногоФайлаИзвлечения;

возврат answer;

конецфункции

Оставить комментарий 1c, pdf, получение страницы, разделение документа

1С: Получить таблицы из Html

25.01.2023 Павел Грибов 1C

Задача: в неком html файле содержится несколько таблиц. Необходимо их распарсить и обработать силами 1С

Решение: воспользуемся построителем DOM. Результатом работы функции будет массив таблиц html документа.

&НаСервере
Функция УбратьНеОбрабатываемыеСимволы(стр)
	стр=стрзаменить(стр," ","_");
	стр=стрзаменить(стр,"№","N");
	стр=стрзаменить(стр,"-","_");
	стр=стрзаменить(стр,".","_");
	стр=стрзаменить(стр,",","_");
	стр=стрзаменить(стр,"/","_");
	возврат стр;
конецфункции	
&НаСервере
Функция ПреобразоватьФайлHtmlВМассивТаблиц(АдресХранилищаФайла)	
	
	ДвоичныеДанные = ПолучитьИзВременногоХранилища(АдресХранилищаФайла);
	ИмяВременногоФайлаСпр = ПолучитьИмяВременногоФайла("html");
	ДвоичныеДанные.Записать(ИмяВременногоФайлаСпр);     
	
	ЧтениеHTML = Новый ЧтениеHTML;
	ЧтениеHTML.ОткрытьФайл(ИмяВременногоФайлаСпр, "UTF-8");

	ПостроительDOM = Новый ПостроительDOM;
	ДокументHTML = ПостроительDOM.Прочитать(ЧтениеHTML);
	ЭлементыТаблицы = ДокументHTML.ПолучитьЭлементыПоИмени("table");
	
	МассивТаблиц=Новый Массив();	
	для каждого таблица из	ЭлементыТаблицы цикл
	  ТЗ=Новый ТаблицаЗначений();	
	  строкиТаблицы=таблица.ПолучитьЭлементыПоИмени("tr");	
	      ПрочитаноСтрок=0;
		  для каждого строкаТаблицы из	строкиТаблицы цикл
		  	колонки=строкаТаблицы.ПолучитьЭлементыПоИмени("td");			
			ПрочитаноКолонок=0;
			для каждого колонка из колонки цикл
				если ПрочитаноСтрок=0 тогда
					ТЗ.Колонки.Добавить(УбратьНеОбрабатываемыеСимволы(колонка.ТекстовоеСодержимое));
				иначе
					если ПрочитаноКолонок=0 тогда
					 нс=ТЗ.Добавить()
				    конецесли;		 
				    нс[ПрочитаноКолонок]=колонка.ТекстовоеСодержимое;
				конецесли;	
				ПрочитаноКолонок=ПрочитаноКолонок+1;
			конеццикла;		
			ПрочитаноСтрок=ПрочитаноСтрок+1;
		  конеццикла;
	  МассивТаблиц.Добавить(ТЗ);
	конеццикла;	
	ЧтениеHTML.Закрыть();											
	
конецфункции

&НаКлиенте
Процедура ЗагрузитьФайл(Команда)
Режим = РежимДиалогаВыбораФайла.Открытие;
    ДиалогОткрытияФайла = Новый ДиалогВыбораФайла(Режим);
    ДиалогОткрытияФайла.ПолноеИмяФайла = "";
    Фильтр = НСтр("ru = 'Текст'; en = 'Text'")+ "(*.xls)|*.xlsx";
    ДиалогОткрытияФайла.Фильтр = Фильтр;
    ДиалогОткрытияФайла.МножественныйВыбор = ложь;
    ДиалогОткрытияФайла.Заголовок = "Выберите файлы";
    Если ДиалогОткрытияФайла.Выбрать() Тогда
        МассивФайлов = ДиалогОткрытияФайла.ВыбранныеФайлы;
		ФайлСМС="";
		Для Каждого ИмяФайла Из МассивФайлов Цикл
			ФайлСМС=ИмяФайла;
		конеццикла;
		если ФайлСМС<>"" тогда 			
					АдресХранилищаФайла = "";			
					Состояние("Перемещаю файл на сервер");
		            ПоместитьФайл(АдресХранилищаФайла, ФайлСМС, , Ложь, ЭтаФорма.УникальныйИдентификатор);   					
					Состояние("Обрабатывается файл "+ФайлСМС);							
					таблицы=ПреобразоватьФайлHtmlВМассивТаблиц(АдресХранилищаФайла);					
		иначе
			сообщить("Файл не выбран");
		конецесли;	
	конецесли;	        
КонецПроцедуры

&НаСервере

Функция УбратьНеОбрабатываемыеСимволы(стр)

стр=стрзаменить(стр," ","_");

стр=стрзаменить(стр,"№","N");

стр=стрзаменить(стр,"-","_");

стр=стрзаменить(стр,".","_");

стр=стрзаменить(стр,",","_");

стр=стрзаменить(стр,"/","_");

возврат стр;

конецфункции

&НаСервере

Функция ПреобразоватьФайлHtmlВМассивТаблиц(АдресХранилищаФайла)

ДвоичныеДанные = ПолучитьИзВременногоХранилища(АдресХранилищаФайла);

ИмяВременногоФайлаСпр = ПолучитьИмяВременногоФайла("html");

ДвоичныеДанные.Записать(ИмяВременногоФайлаСпр);

ЧтениеHTML = Новый ЧтениеHTML;

ЧтениеHTML.ОткрытьФайл(ИмяВременногоФайлаСпр, "UTF-8");

ПостроительDOM = Новый ПостроительDOM;

ДокументHTML = ПостроительDOM.Прочитать(ЧтениеHTML);

ЭлементыТаблицы = ДокументHTML.ПолучитьЭлементыПоИмени("table");

МассивТаблиц=Новый Массив();

для каждого таблица из ЭлементыТаблицы цикл

ТЗ=Новый ТаблицаЗначений();

строкиТаблицы=таблица.ПолучитьЭлементыПоИмени("tr");

ПрочитаноСтрок=0;

для каждого строкаТаблицы из строкиТаблицы цикл

колонки=строкаТаблицы.ПолучитьЭлементыПоИмени("td");

ПрочитаноКолонок=0;

для каждого колонка из колонки цикл

если ПрочитаноСтрок=0 тогда

ТЗ.Колонки.Добавить(УбратьНеОбрабатываемыеСимволы(колонка.ТекстовоеСодержимое));

иначе

если ПрочитаноКолонок=0 тогда

нс=ТЗ.Добавить()

конецесли;

нс[ПрочитаноКолонок]=колонка.ТекстовоеСодержимое;

конецесли;

ПрочитаноКолонок=ПрочитаноКолонок+1;

конеццикла;

ПрочитаноСтрок=ПрочитаноСтрок+1;

конеццикла;

МассивТаблиц.Добавить(ТЗ);

конеццикла;

ЧтениеHTML.Закрыть();

конецфункции

&НаКлиенте

Процедура ЗагрузитьФайл(Команда)

Режим = РежимДиалогаВыбораФайла.Открытие;

ДиалогОткрытияФайла = Новый ДиалогВыбораФайла(Режим);

ДиалогОткрытияФайла.ПолноеИмяФайла = "";

Фильтр = НСтр("ru = 'Текст'; en = 'Text'")+ "(*.xls)|*.xlsx";

ДиалогОткрытияФайла.Фильтр = Фильтр;

ДиалогОткрытияФайла.МножественныйВыбор = ложь;

ДиалогОткрытияФайла.Заголовок = "Выберите файлы";

Если ДиалогОткрытияФайла.Выбрать() Тогда

МассивФайлов = ДиалогОткрытияФайла.ВыбранныеФайлы;

ФайлСМС="";

Для Каждого ИмяФайла Из МассивФайлов Цикл

ФайлСМС=ИмяФайла;

конеццикла;

если ФайлСМС<>"" тогда

АдресХранилищаФайла = "";

Состояние("Перемещаю файл на сервер");

ПоместитьФайл(АдресХранилищаФайла, ФайлСМС, , Ложь, ЭтаФорма.УникальныйИдентификатор);

Состояние("Обрабатывается файл "+ФайлСМС);

таблицы=ПреобразоватьФайлHtmlВМассивТаблиц(АдресХранилищаФайла);

иначе

сообщить("Файл не выбран");

конецесли;

КонецПроцедуры

Один комментарий 1c, html, table

1 2 3 … 8 »

Пн	Вт	Ср	Чт	Пт	Сб	Вс
				1	2	3
4	5	6	7	8	9	10
11	12	13	14	15	16	17
18	19	20	21	22	23	24
25	26	27	28	29	30