Архивы 1C

Фоновая обработка больших данных в 1С с прогресс баром

26.07.2024 Павел Грибов 1C

Пару лет назад уже сталкивался с подобной задачей (Фоновая обработка больших данных в 1С). Чуть погуглил, что изменилось за это время. А фактически ничего. До сих пор для того чтобы показать обычный прогресс бар, приходится использовать велосипеды. Временные хранилища, для того чтобы передать в клиента результат работы фоновой функции/процедуры как нельзя было использовать, так и сейчас нельзя. Прогресс бар, как нельзя было использовать без костылей…так и сейчас нельзя. Ну я конечно не смотрел что в БСП, т.к. зачастую приходится делать дописки где БСП или нет, или она древняя

Общая «шаблонная» схема использования фонового выполнения функций в 1С можно организаовать следующим образом:

Запускаем фоновое задание
На клиенте запускаем периодическое задание которое отлавливает вывод «сообщить» на сервере
В фоновом задании при помощи «сообщить» выводим всякую служебную информацию. Если нужно в «клиент» передать данные — записываем временный файл в формате например json, и имя его, опять же при помощи «Сообщить» передаём на клиент.
По окончании фонового задания, закрываем выполнение периодического задания

Запуск фонового задания:

&НаКлиенте
...
ЗапускФоновойЗадачи();
ПодключитьОбработчикОжидания("ИндикаторВыполненияЗагрузки",1,ложь);
...
&НаСервере	
Процедура ЗапускФоновойЗадачи()
	МассивПараметров = Новый Массив;
	МассивПараметров.Добавить(параметры);
	ФЗ = ФоновыеЗадания.Выполнить("СК_ГР_ДлительныеОперации.СпарситьИсходныеДанныеНаСервер",МассивПараметров);	
	ЭтаФорма.ФоновоеИдентификатор = ФЗ.УникальныйИдентификатор;				
КонецПроцедуры

&НаКлиенте

...

ЗапускФоновойЗадачи();

ПодключитьОбработчикОжидания("ИндикаторВыполненияЗагрузки",1,ложь);

...

&НаСервере

Процедура ЗапускФоновойЗадачи()

МассивПараметров = Новый Массив;

МассивПараметров.Добавить(параметры);

ФЗ = ФоновыеЗадания.Выполнить("СК_ГР_ДлительныеОперации.СпарситьИсходныеДанныеНаСервер",МассивПараметров);

ЭтаФорма.ФоновоеИдентификатор = ФЗ.УникальныйИдентификатор;

КонецПроцедуры

Процедура или функция фонового задания обязательно должна находиться в общем модуле:

Функция СпарситьИсходныеДанныеНаСервер(параметры) экспорт;
...
Сообщить("Выполнено 10%");	
....
Сообщить("Выполнено 100%");
ИмяФайла=ПолучитьИмяВременногоФайла("json");
Текст = Новый ЗаписьТекста(ГдеИскать+ИмяФайла, КодировкаТекста.UTF8);
Текст.Записать(json_str);	
Сообщить("Результат:"+ИмяФайла);
...

Функция СпарситьИсходныеДанныеНаСервер(параметры) экспорт;

...

Сообщить("Выполнено 10%");

....

Сообщить("Выполнено 100%");

ИмяФайла=ПолучитьИмяВременногоФайла("json");

Текст = Новый ЗаписьТекста(ГдеИскать+ИмяФайла, КодировкаТекста.UTF8);

Текст.Записать(json_str);

Сообщить("Результат:"+ИмяФайла);

...

Периодическая проверка и «отлов» серверного вывода «Сообщить»:

&НаКлиенте
Процедура ИндикаторВыполненияЗагрузки() Экспорт
	пр=ОпроситьФоновые();
	если пр<>неопределено тогда  
		объект.ИндВыполнения=пр;
		Состояние("Выполнено "+пр);
	конецесли;
КонецПроцедуры

&НаКлиенте
Процедура ИндикаторВыполненияЗагрузки() Экспорт
	пр=ОпроситьФоновые();
	если пр<>неопределено тогда  
		объект.ИндВыполнения=пр;
		Состояние("Выполнено "+пр);
	конецесли;
КонецПроцедуры

&НаСервере
Функция ПолучитьСообщенияФЗ(ФЗ, Состояние = Неопределено, УдалятьСообщения = Ложь) Экспорт
	Если Состояние = Неопределено Тогда
		Состояние = ФЗ.Состояние;
	КонецЕсли;
	МассивСообщений = Новый Массив;
	Сообщения = ФЗ.ПолучитьСообщенияПользователю(УдалятьСообщения);
	Если Сообщения <> Неопределено Тогда
		Для Каждого Сообщение Из Сообщения Цикл
			МассивСообщений.Добавить(Сообщение.Текст);
		КонецЦикла;
	КонецЕсли;
	Возврат МассивСообщений;
КонецФункции

&НаСервере
Функция ОпроситьФоновые()
	прог=неопределено;
	ФЗ = ФоновыеЗадания.НайтиПоУникальномуИдентификатору(ЭтаФорма.ФоновоеИдентификатор);
	если ФЗ=Неопределено тогда
		ОтключитьОбработчикОжидания("ИндикаторВыполненияЗагрузки");
		возврат ложь;
	конецесли;	
	ФСообщения=ПолучитьСообщенияФЗ(ФЗ,,истина);
	Если ФСообщения.Количество() > 0 Тогда
		Для Каждого Сообщение Из ФСообщения Цикл
			Сообщить(Сообщение);
			если найти(Сообщение,"%")>0 тогда
				прог=Число(СтрЗаменить(СтрЗаменить(Сообщение,"Выполнено ",""),"%",""));			
			конецесли;
			если найти(Сообщение,"Результат:")>0 тогда
				ИмяФайла=СтрЗаменить(Сообщение,"Результат:","");
				Текст = Новый ЧтениеТекста(КаталогВременныхФайлов()+ИмяФайла, КодировкаТекста.UTF8);
				СтрокаJson = JsonВСтруктуру(Текст.Прочитать());	
ОтключитьОбработчикОжидания("ИндикаторВыполненияЗагрузки");
			конецесли;				
		КонецЦикла;
	КонецЕсли;
	возврат прог;
КонецФункции

&НаКлиенте

Процедура ИндикаторВыполненияЗагрузки() Экспорт

пр=ОпроситьФоновые();

если пр<>неопределено тогда

объект.ИндВыполнения=пр;

Состояние("Выполнено "+пр);

конецесли;

КонецПроцедуры

&НаКлиенте

Процедура ИндикаторВыполненияЗагрузки() Экспорт

пр=ОпроситьФоновые();

если пр<>неопределено тогда

объект.ИндВыполнения=пр;

Состояние("Выполнено "+пр);

конецесли;

КонецПроцедуры

&НаСервере

Функция ПолучитьСообщенияФЗ(ФЗ, Состояние = Неопределено, УдалятьСообщения = Ложь) Экспорт

Если Состояние = Неопределено Тогда

Состояние = ФЗ.Состояние;

КонецЕсли;

МассивСообщений = Новый Массив;

Сообщения = ФЗ.ПолучитьСообщенияПользователю(УдалятьСообщения);

Если Сообщения <> Неопределено Тогда

Для Каждого Сообщение Из Сообщения Цикл

МассивСообщений.Добавить(Сообщение.Текст);

КонецЦикла;

КонецЕсли;

Возврат МассивСообщений;

КонецФункции

&НаСервере

Функция ОпроситьФоновые()

прог=неопределено;

ФЗ = ФоновыеЗадания.НайтиПоУникальномуИдентификатору(ЭтаФорма.ФоновоеИдентификатор);

если ФЗ=Неопределено тогда

ОтключитьОбработчикОжидания("ИндикаторВыполненияЗагрузки");

возврат ложь;

конецесли;

ФСообщения=ПолучитьСообщенияФЗ(ФЗ,,истина);

Если ФСообщения.Количество() > 0 Тогда

Для Каждого Сообщение Из ФСообщения Цикл

Сообщить(Сообщение);

если найти(Сообщение,"%")>0 тогда

прог=Число(СтрЗаменить(СтрЗаменить(Сообщение,"Выполнено ",""),"%",""));

конецесли;

если найти(Сообщение,"Результат:")>0 тогда

ИмяФайла=СтрЗаменить(Сообщение,"Результат:","");

Текст = Новый ЧтениеТекста(КаталогВременныхФайлов()+ИмяФайла, КодировкаТекста.UTF8);

СтрокаJson = JsonВСтруктуру(Текст.Прочитать());

ОтключитьОбработчикОжидания("ИндикаторВыполненияЗагрузки");

конецесли;

КонецЦикла;

КонецЕсли;

возврат прог;

КонецФункции

В результате будет что-то вроде:

Оставить комментарий 1с, прогресс бар, фоновая работа

1С: Ускорение поиска в массиве структур

05.07.2024 Павел Грибов 1C

Задача: есть два массива структур. Один 500 записей, второй — порядка 900 тыс. Нужно для каждой из 500 записей, найти соответствующую запись из второй структуры.

ИсходныеДанные=Новый Структура("субабоненты,реестр_замен",Новый Массив(),Новый Массив(),Новый Массив(),Новый Массив());

1	ИсходныеДанные=Новый Структура("субабоненты,реестр_замен",Новый Массив(),Новый Массив(),Новый Массив(),Новый Массив());

Массив «субабоненты», заполнен структурами вида «то,лс,ипу,окпу,нс,улица,дом,квартира»
Массив «реестр_замен», заполнен структурами вида «лс,нп,улица,дом,квартира,ипу,дата_установки»

Решение 1: ищем и сопоставляем в «лоб»

	найдено=0;
	для каждого суб из ИсходныеДанные.субабоненты цикл
		    поз=поз+1;
			для каждого стр из ИсходныеДанные.реестр_замен цикл			
				если суб.лс=стр.лс тогда
					найдено=найдено+1;		
				конецесли;	
			конеццикла;
	конеццикла;	
	сообщить("-сопоставлено лс: "+найдено);

найдено=0;

для каждого суб из ИсходныеДанные.субабоненты цикл

поз=поз+1;

для каждого стр из ИсходныеДанные.реестр_замен цикл

если суб.лс=стр.лс тогда

найдено=найдено+1;

конецесли;

конеццикла;

сообщить("-сопоставлено лс: "+найдено);

Замеряем время выполнения…и устаём ждать.. Поиск и сопоставление длится по крайне мере несколько часов..

Решение 2:

А зачем нам в массиве субабонентов держать те данные, которых нет? Правильно, не зачем. Поэтому из массива «реестр_замен», сначала вычленим список л/с, и положим его в отдельный массив. И далее при заполнении из файла массива субабонентов, нужно штатно (функция Найти) проверять нужна такая строчка или нет в результирующем массиве? Функция «Найти» скажем работает ОЧЕНЬ быстро.

					если ИсходныеДанные.список_лс.Найти(инф.лс)<>неопределено или ИсходныеДанные.список_ипу.Найти(инф.ипу)<>неопределено тогда
						ИсходныеДанные.субабоненты.Добавить(инф);			                                                
					конецесли;

если ИсходныеДанные.список_лс.Найти(инф.лс)<>неопределено или ИсходныеДанные.список_ипу.Найти(инф.ипу)<>неопределено тогда

ИсходныеДанные.субабоненты.Добавить(инф);

конецесли;

В итоге, в массиве «субабоненты» у нас ровно то количество записей, которое в «реестр_замен «, а вовсе не 900тыс.

И дальше пробуем снова сопоставить:

найдено=0;
	для каждого суб из ИсходныеДанные.субабоненты цикл
		    поз=поз+1;
			для каждого стр из ИсходныеДанные.реестр_замен цикл			
				если суб.лс=стр.лс тогда
					найдено=найдено+1;		
				конецесли;	
			конеццикла;
	конеццикла;	
	сообщить("-сопоставлено лс: "+найдено);

найдено=0;

для каждого суб из ИсходныеДанные.субабоненты цикл

поз=поз+1;

для каждого стр из ИсходныеДанные.реестр_замен цикл

если суб.лс=стр.лс тогда

найдено=найдено+1;

конецесли;

конеццикла;

сообщить("-сопоставлено лс: "+найдено);

Скрипт выполнился уже в приемлемые примерно 400 секунд

Оставить комментарий 1с, поиск в массиве структур

Чтение большого файла csv в 1С

03.07.2024 Павел Грибов 1C

Куда ни глянь, в интернете чаще всего предлагается обработка и чтение большого файла csv в 1С при помощи загрузки в «текстовыйДокумент». Примерно так:

ТекстДок = Новый ТекстовыйДокумент;<br>ТекстДок.Прочитать(ИмяВременногоФайлаХар);		<br>Для Индекс = 2 По ТекстДок.КоличествоСтрок() Цикл<br>	СтрокаФайла = ТекстДок.ПолучитьСтроку(Индекс);<br>конеццикла;

1	ТекстДок = Новый ТекстовыйДокумент;<br>ТекстДок.Прочитать(ИмяВременногоФайлаХар); <br>Для Индекс = 2 По ТекстДок.КоличествоСтрок() Цикл<br> СтрокаФайла = ТекстДок.ПолучитьСтроку(Индекс);<br>конеццикла;

Что в корне не верно, при обработке большого csv файла, так как в этом случае весь файл вычитывается предварительно в память. А она не безразмерная в большинстве случаев. Правильный же способ обработки — построчное чтение файла. Примерно так:

		Текст = Новый ЧтениеТекста(ИмяВременногоФайлаХар, КодировкаТекста.ANSI);
		Стр = Текст.ПрочитатьСтроку();
		Пока Стр <> Неопределено Цикл 
		   Сообщить(Стр);
		   Стр = Текст.ПрочитатьСтроку();
			МассивПодстрок = СтрРазделить(Стр, ";");
			инф=Новый Структура("то,лс,ипу,окпу,нс,улица,дом,квартира");
			инф.то		=СокрЛП(МассивПодстрок[2]);
			инф.лс		=СокрЛП(СтрЗаменить(МассивПодстрок[3],"-",""));
			инф.ипу		=СокрЛП(МассивПодстрок[31]);
			инф.окпу	=СокрЛП(МассивПодстрок[92]);
			инф.нс		=СокрЛП(МассивПодстрок[8]);
			инф.улица	=СокрЛП(МассивПодстрок[9]);
			инф.дом		=СокрЛП(МассивПодстрок[10]);
			инф.квартира=СокрЛП(МассивПодстрок[11]);
			ИсходныеДанные.субабоненты.Добавить(инф);			
		   КонецЦикла;

Текст = Новый ЧтениеТекста(ИмяВременногоФайлаХар, КодировкаТекста.ANSI);

Стр = Текст.ПрочитатьСтроку();

Пока Стр <> Неопределено Цикл

Сообщить(Стр);

Стр = Текст.ПрочитатьСтроку();

МассивПодстрок = СтрРазделить(Стр, ";");

инф=Новый Структура("то,лс,ипу,окпу,нс,улица,дом,квартира");

инф.то =СокрЛП(МассивПодстрок[2]);

инф.лс =СокрЛП(СтрЗаменить(МассивПодстрок[3],"-",""));

инф.ипу =СокрЛП(МассивПодстрок[31]);

инф.окпу =СокрЛП(МассивПодстрок[92]);

инф.нс =СокрЛП(МассивПодстрок[8]);

инф.улица =СокрЛП(МассивПодстрок[9]);

инф.дом =СокрЛП(МассивПодстрок[10]);

инф.квартира=СокрЛП(МассивПодстрок[11]);

ИсходныеДанные.субабоненты.Добавить(инф);

КонецЦикла;

Оставить комментарий 1с, csv, большой файл

Работа с безопасным хранилищем в 1С

07.06.2024 Павел Грибов 1C

До недавнего времени (еще несколько лет назад) для хранения данных учётных записей в 1С единственной защитой было — показывать поле с паролем со «звездочками». Сам же пароль хранился в практически открытом виде в реквизитах формы. Ну.. возможно это и не безопасно.. Новая методика хранения чувствительных данных в 1С призвана эту безопасность увеличить. Работа с безопасным хранилищем в 1с, Поэтому в БСП были внедрены функции общего назначения «ПрочитатьДанныеИзБезопасногоХранилища» и «ЗаписатьДанныеВБезопасноеХранилище».

Например запишу данные:

       УстановитьПривилегированныйРежим(Истина);
       ОбщегоНазначения.ЗаписатьДанныеВБезопасноеХранилище(ТекущийОбъект.Ссылка, Пароль,"ПарольSMTP");
       УстановитьПривилегированныйРежим(Ложь);

УстановитьПривилегированныйРежим(Истина);

ОбщегоНазначения.ЗаписатьДанныеВБезопасноеХранилище(ТекущийОбъект.Ссылка, Пароль,"ПарольSMTP");

УстановитьПривилегированныйРежим(Ложь);

Прочитаю данные:

	 УстановитьПривилегированныйРежим(Истина);
	  уз=справочники.УчетныеЗаписиЭлектроннойПочты.НайтиПоНаименованию("Учетка для чтения писем");
      Пароли = ОбщегоНазначения.ПрочитатьДанныеИзБезопасногоХранилища(уз, "Пароль, ПарольSMTP");
	УстановитьПривилегированныйРежим(Ложь);

УстановитьПривилегированныйРежим(Истина);

уз=справочники.УчетныеЗаписиЭлектроннойПочты.НайтиПоНаименованию("Учетка для чтения писем");

Пароли = ОбщегоНазначения.ПрочитатьДанныеИзБезопасногоХранилища(уз, "Пароль, ПарольSMTP");

УстановитьПривилегированныйРежим(Ложь);

В чём разница между хранением в реквизитах и новой методикой:

Имея доступ к объекту метаданных, пользователь может прочитать содержимое реквизита с паролем, что невозможно при использовании безопасного хранилища. Для исключения случаев несанкционированного доступа к безопасному хранилищу получение и запись данных (паролей) возможна только в привилегированном режиме.
Данные в безопасном хранилище хранятся в закрытом виде и тем самым исключаются случаи непредумышленной «засветки» паролей.
Безопасное хранилище исключено из планов обмена, что предотвращает утечку паролей из информационной базы при обмене данными.

Другие статьи по теме 1С

Оставить комментарий безопасное хранилище, узнать пароль учётки

Выгрузить табличную часть в Excel

04.06.2024 Павел Грибов 1C

Задача: выгрузить табличную часть формы в файл формата XLSX. К сожалению на прямую это не сделать, но зато мы можем воспользоваться функционалом компонента ПостроительОтчета, который в свою очередь понимает на входе таблицу значений. В итоге нам остаётся лишь выгрузить табличную часть в таблицу значений, которую в свою оочередь скормить построителю отчетов. На выходе будет ТабличныйДокумент, который уже штатно может сохраняться в т.ч. и в формат xlsx. Код получается примерно такой::

&НаСервере
Функция ЭкспортВExcelНаСервере()
	ТабДок = Новый ТабличныйДокумент;
	
		Тз = Новый ТаблицаЗначений;
		тз.Колонки.Добавить("Отделение");
		тз.Колонки.Добавить("Подразделение");
		тз.Колонки.Добавить("ЛС");
		тз.Колонки.Добавить("КодСопоставления");
		тз.Колонки.Добавить("ДатаРождения");
		тз.Колонки.Добавить("МестоРождения");
		тз.Колонки.Добавить("СерияПаспорта");
		тз.Колонки.Добавить("НомерПаспорта");
		тз.Колонки.Добавить("СерияНомерПаспорта");
		тз.Колонки.Добавить("РезультатПроверки");
		
		для каждого стр из объект.РезультатСопоставления цикл
			нс=тз.Добавить();		
			нс.Отделение=стр.Отделение;
			нс.Подразделение=стр.Подразделение;
			нс.ЛС=стр.ЛС;
			нс.КодСопоставления=стр.КодСопоставления;
			нс.ДатаРождения=стр.ДатаРождения;
			нс.МестоРождения=стр.МестоРождения;
			нс.СерияПаспорта=стр.СерияПаспортаС;
			нс.НомерПаспорта=стр.НомерПаспортаС;
			нс.СерияНомерПаспорта=стр.СерияНомерПаспорта;
			нс.РезультатПроверки=стр.РезультатПроверки;
		конеццикла;
		
		Построитель = Новый ПостроительОтчета;
		Построитель.ИсточникДанных = Новый ОписаниеИсточникаДанных(Тз);
		Построитель.Выполнить();
		Построитель.Вывести(ТабДок);
		
	ИмяВременногоФайлаХар = ПолучитьИмяВременногоФайла(".xlsx");		
	ТабДок.Записать(ИмяВременногоФайлаХар,ТипФайлаТабличногоДокумента.XLSX);
	сообщить(ИмяВременногоФайлаХар);
	
	Двоичное=Новый ДвоичныеДанные(ИмяВременногоФайлаХар);
	Адрес=ПоместитьВоВременноеХранилище(Двоичное,ЭтаФорма.УникальныйИдентификатор);	
	
	Возврат Адрес;
	
КонецФункции

&НаКлиенте
Процедура ЭкспортВExcel(Команда)
	Адрес=ЭкспортВExcelНаСервере();
	
	Описание=Новый ОписаниеПередаваемогоФайла(ПолучитьИмяВременногоФайла(".xlsx"),Адрес);
	МассивОписаний=Новый Массив;
	МассивОписаний.Добавить(Описание);
	ПолучитьФайлы(МассивОписаний,,,Ложь);	
	
	 Для Каждого фф Из МассивОписаний Цикл
	  ЗапуститьПриложение(фф.Имя);
	 КонецЦикла;	
	
КонецПроцедуры

&НаСервере

Функция ЭкспортВExcelНаСервере()

ТабДок = Новый ТабличныйДокумент;

Тз = Новый ТаблицаЗначений;

тз.Колонки.Добавить("Отделение");

тз.Колонки.Добавить("Подразделение");

тз.Колонки.Добавить("ЛС");

тз.Колонки.Добавить("КодСопоставления");

тз.Колонки.Добавить("ДатаРождения");

тз.Колонки.Добавить("МестоРождения");

тз.Колонки.Добавить("СерияПаспорта");

тз.Колонки.Добавить("НомерПаспорта");

тз.Колонки.Добавить("СерияНомерПаспорта");

тз.Колонки.Добавить("РезультатПроверки");

для каждого стр из объект.РезультатСопоставления цикл

нс=тз.Добавить();

нс.Отделение=стр.Отделение;

нс.Подразделение=стр.Подразделение;

нс.ЛС=стр.ЛС;

нс.КодСопоставления=стр.КодСопоставления;

нс.ДатаРождения=стр.ДатаРождения;

нс.МестоРождения=стр.МестоРождения;

нс.СерияПаспорта=стр.СерияПаспортаС;

нс.НомерПаспорта=стр.НомерПаспортаС;

нс.СерияНомерПаспорта=стр.СерияНомерПаспорта;

нс.РезультатПроверки=стр.РезультатПроверки;

конеццикла;

Построитель = Новый ПостроительОтчета;

Построитель.ИсточникДанных = Новый ОписаниеИсточникаДанных(Тз);

Построитель.Выполнить();

Построитель.Вывести(ТабДок);

ИмяВременногоФайлаХар = ПолучитьИмяВременногоФайла(".xlsx");

ТабДок.Записать(ИмяВременногоФайлаХар,ТипФайлаТабличногоДокумента.XLSX);

сообщить(ИмяВременногоФайлаХар);

Двоичное=Новый ДвоичныеДанные(ИмяВременногоФайлаХар);

Адрес=ПоместитьВоВременноеХранилище(Двоичное,ЭтаФорма.УникальныйИдентификатор);

Возврат Адрес;

КонецФункции

&НаКлиенте

Процедура ЭкспортВExcel(Команда)

Адрес=ЭкспортВExcelНаСервере();

Описание=Новый ОписаниеПередаваемогоФайла(ПолучитьИмяВременногоФайла(".xlsx"),Адрес);

МассивОписаний=Новый Массив;

МассивОписаний.Добавить(Описание);

ПолучитьФайлы(МассивОписаний,,,Ложь);

Для Каждого фф Из МассивОписаний Цикл

ЗапуститьПриложение(фф.Имя);

КонецЦикла;

КонецПроцедуры

Пользователь нажимает кнопку «Экспорт в эксель», на сервере формируется файл и передаётся на клиент. На клиенте он открывается приложением по умолчанию для данного формата файла. Код получился кросс платформенный, что в наше время очень актуально.

Оставить комментарий выгрузка в эксель, передать файл с сервера на клиент

1 2 3 … 43 »

Пн	Вт	Ср	Чт	Пт	Сб	Вс
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30	31