1C: фоновая загрузка большого файла Excel в табличный документ

Задача: загрузить в табличный документ на форме файл большого размера, с индикацией прогресса загрузки с использованием фоновой работы.

Решение: если поддержка фоновой работы в 1С была уже довольно давно, то асинхронная загрузка файлов на сервер появилась лишь начиная с версии 8.3.15.1489 ,Ну тоже уже давно, но руки добрались начать использовать только сейчас, т.к. ранее было не критично — не настолько большие файлы загружал/обрабатывал.

Итак, сначала на форме разместим индикатор загрузки. Для этого в реквизитах формы необходимо создать переменную типа «число», и перетащив её на форму выбрать тип «индикатор»:

индикатор загрузки
индикатор загрузки
индикатор загрузки

На кнопку «Загрузить ЛС» навесим открытие диалогового окна:

	Фильтр = "Файл с лицевыми счетами(*.xlsx)|*.xlsx";
	ПараметрыДиалога = новый ПараметрыДиалогаПомещенияФайлов("Выберите файлы XLSX", Истина, Фильтр);		

А чуть ниже определим обработчики оповещения о ходе загрузки файла на сервер и окончании загрузки файла, которые укажем при вызове процедуры «НачатьПомещениеФайлаНаСервер» (есть еще и «НачатьПомещениеФайловНаСервер»). В итоге код получится такой:

&НаКлиенте
Процедура ЗагрузитьЛС(Команда)
	этаформа.ИндикаторЗагрузкиЛС=0;				
	Фильтр = "Файл с лицевыми счетами(*.xlsx)|*.xlsx";
	ПараметрыДиалога = новый ПараметрыДиалогаПомещенияФайлов("Выберите файлы XLSX", Истина, Фильтр);		
	
	ОповещениеОЗавершении = новый ОписаниеОповещения("ПослеЗагрузкиФайлаЛС", ЭтаФорма);		
	ОповещениеОХодеЗагрузки = новый ОписаниеОповещения("ОповещениеОХодеЗагрузкиЛС", ЭтаФорма);		
	
	Этаформа.Элементы.ПояснениеКЗагрузкеЛС.Заголовок="Перемещаю файл на сервер..";
	НачатьПомещениеФайлаНаСервер(ОповещениеОЗавершении,ОповещениеОХодеЗагрузки,,,ПараметрыДиалога, УникальныйИдентификатор);								                                                 

КонецПроцедуры

&НаКлиенте
Процедура ПослеЗагрузкиФайлаЛС (ОписаниеФайла, ДопПараметры) Экспорт
	Этаформа.Элементы.ПояснениеКЗагрузкеЛС.Заголовок="Файл загружен, обрабатываю..";
	этаформа.ИндикаторЗагрузкиЛС=0;				
КонецПроцедуры	

&НаКлиенте
Процедура ОповещениеОХодеЗагрузкиЛС (ПомещаемыйФайл, Помещено, ОтказОтПомещенияФайла,ДополнительныеПараметры) Экспорт
	этаформа.ИндикаторЗагрузкиЛС=Помещено;				
КонецПроцедуры	

В результате чего после выбора файла, по экрану побежит индикатор хода перемещения файла на сервер. Далее этот файл необходимо будет обработать на сервере фоново. И тут возникает один нюанс: мы не можем передать в фоновое задание ссылку на перемещенный файл во временном хранилище.Точнее можем, но фоновое задание это хранилище прочитать не может (это то ли глюк, то ли фича платформы — не понятно). Проблема.. Тогда делаем финт ушами: перед уходом в «фон», мы создадим временный файл во временной папке пользователя 1С, и передадим в фон уже не ссылку на него, а непосредственно имя временного файла. Для этого я просто написал функцию, которая на входе получает адрес загруженного файла, а на выходе даёт имя временного файла:

&НаСервере
Функция СохранитьФайлНаСервере(АдресВременногоХранилища,расш)
		ДвоичныеДанные = ПолучитьИзВременногоХранилища(АдресВременногоХранилища);
	    ИмяВременногоФайлаХар = ПолучитьИмяВременногоФайла(расш);
	    ДвоичныеДанные.Записать(ИмяВременногоФайлаХар); 
		возврат ИмяВременногоФайлаХар;	
КонецФункции

Кроме того, чтобы мы могли передать результат в обработку по завершению фоновой работы, нам необходимо при запуске фонового задания передать в него некоторые параметры, а именно:

  • имя созданного временного файла
  • колонки/строки откуда брать данные из эксель файла
  • адрес временного хранилища, куда поместить результат работы фонового задания
&НаКлиенте
Процедура ПослеЗагрузкиФайлаЛС (ОписаниеФайла, ДопПараметры) Экспорт
	Этаформа.Элементы.ПояснениеКЗагрузкеЛС.Заголовок="Файл загружен, обрабатываю..";
	этаформа.ИндикаторЗагрузкиЛС=0;				
	инф=Новый Структура("ВременныйФайл,Расширение,ЛС_начало,ЛС_лс,ЛС_то,ЛС_дата_установки_пу,АдресВременногХранилища");
	инф.ВременныйФайл=СохранитьФайлНаСервере(ОписаниеФайла.адрес,ОписаниеФайла.ссылканафайл.расширение);
	инф.Расширение=ОписаниеФайла.ссылканафайл.расширение;
	инф.ЛС_начало=объект.ЛС_начало;
	инф.ЛС_лс=объект.ЛС_лс;
	инф.ЛС_то=объект.ЛС_то;
	инф.ЛС_дата_установки_пу=объект.ЛС_дата_установки_пу;
	инф.АдресВременногХранилища=объект.ВрХранилищеФормы;	
КонецПроцедуры	

&НаСервере
Процедура ПриСозданииНаСервере(Отказ, СтандартнаяОбработка)
	объект.ВрХранилищеФормы=ПоместитьВоВременноеХранилище(0);
	ЗапуститьФЗЗагрузкиЛС(инф);	
ПодключитьОбработчикОжидания("ИндикаторВыполненияЗагрузкиФайловЛС",1,ложь);				
КонецПроцедуры

Функция которая будет работать фоново, должна размещаться в общем модуле. Это небольшой недостаток внешних обработок — фоново запускаются только процедуры-функции созданные внутри конфигурации. Но! до этого нам нужно опять же написать «обвязку» фонового задания, дабы мы имели возможность знать, работает или нет оно, а так-же на каком этапе. При запуске фонового задания, мы получаем идентификатор этого задания:

	Функция ЗапуститьФЗЗагрузкиЛС(Параметры)		
	МассивПараметров = Новый Массив;
	МассивПараметров.Добавить(Параметры);
	ФЗ = ФоновыеЗадания.Выполнить("СК_ГР_ДлительныеОперации.ЗагрузитьФайлыЛС",МассивПараметров);	
	объект.ЛС_ФЗ = ФЗ.УникальныйИдентификатор;					
КонецФункции  

Который в дальнейшем будем использоваться для того чтобы «узнать» как поживает собственно это задание, подключив на клиенте обработчик ожидания, выполняющийся раз в секунду:

&НаКлиенте
Процедура ИндикаторВыполненияЗагрузкиФайловЛС() Экспорт  
	пр=КакДелаУФЗЗагрузкиФайловЛС();   	
	если пр=неопределено тогда  
		этаформа.ИндикаторЗагрузкиЛС=100;
		ОтключитьОбработчикОжидания("ИндикаторВыполненияЗагрузкиФайловЛС");
		Этаформа.Элементы.ПояснениеКЗагрузкеЛС.Заголовок="Файлы обработаны";
	иначе
		этаформа.ИндикаторЗагрузкиЛС=пр;         		
	конецесли;
КонецПроцедуры	 
&НаСервере
Функция КакДелаУФЗЗагрузкиФайловЛС()
	ФЗ = ФоновыеЗадания.НайтиПоУникальномуИдентификатору(объект.идФЗ);
	если ФЗ=Неопределено тогда		
		возврат неопределено;
	иначе	                                                                                                    
		если ФЗ.Состояние=СостояниеФоновогоЗадания.Завершено тогда
			возврат неопределено;
		конецесли;	   
		если ФЗ.Состояние=СостояниеФоновогоЗадания.ЗавершеноАварийно тогда
			Сообщить("Ошибка:"+ФЗ.ИнформацияОбОшибке.Описание);
			возврат неопределено;
		конецесли;										
	конецесли;	
	возврат 0;
конецфункции

Как видим, тут отслеживается состояние фонового задания (запущен, работает, завершен, завершен с ошибкой), но не отслеживается этап выполнения работ. Есть на самом деле два способа получения хода работы фонового задания:

  • перехват вывода функции Сообщить() на сервере, и парсинг данных из него. Например в фоновом задании можно с какой-то периодичностью выводить что-то вроде: Сообщить(«12.3%загружаю»);, а получив на клиенте эту запись показывать индикацию 12.3% и соответствующее пояснение.
  • Можно во время работы фонового задания ложить данные во временно хранилище, и читать их из клиента. НО! данный способ работает только в случай файловой БД. Циатата из справки 1С: «Данные, помещенные во временное хранилище в фоновом задании, не будут доступны из родительского сеанса до момента завершения фонового задания»

Посему остаётся таки отлавливать сообщения сервера по известному идентификатору фонового задания:

&НаСервере
Функция ПолучитьСообщенияФЗ(ФЗ, Состояние = Неопределено, УдалятьСообщения = Ложь) Экспорт
	Если Состояние = Неопределено Тогда
		Состояние = ФЗ.Состояние;
	КонецЕсли;
	МассивСообщений = Новый Массив;
	Сообщения = ФЗ.ПолучитьСообщенияПользователю(УдалятьСообщения);
	Если Сообщения <> Неопределено Тогда
		Для Каждого Сообщение Из Сообщения Цикл
			МассивСообщений.Добавить(Сообщение.Текст);
		КонецЦикла;
	КонецЕсли;
	Возврат МассивСообщений;
КонецФункции

А в самом фоновом здании, городить огород с выводом сообщений:

// На входе:
//	парам.ВременныйФайл
//	парам.Расширение
//	парам.ЛС_начало
//	парам.ЛС_лс
//	парам.ЛС_то
//	парам.ЛС_дата_установки_пу
//	парам.АдресВременногХранилища
Функция ЗагрузитьФайлыЛСРасширенно(парам) экспорт    
	Сообщить("0%читаю файл на сервере");
	ТабличныйДокументХар = Новый ТабличныйДокумент; 
	ТабличныйДокументХар.Прочитать(парам.ВременныйФайл,СпособЧтенияЗначенийТабличногоДокумента.Значение);
	стар=0;
	Для Каждого ОбластьТД ИЗ ТабличныйДокументХар.Области Цикл         		     
	    ОбластьФайла = ТабличныйДокументХар.ПолучитьОбласть(ОбластьТД.Имя);
	    КолВоСтрокФайла = ОбластьФайла.ПолучитьРазмерОбластиДанныхПоВертикали();
	    КолВоКолонокФайла = ОбластьФайла.ПолучитьРазмерОбластиДанныхПоГоризонтали();

		НачСтрока=парам.ЛС_начало;КонСтрока=0;
	    НачСтрока = ?(НачСтрока = 0, 2, НачСтрока);
	    КонСтрока = ?(КонСтрока = 0, КолвоСтрокФайла, КонСтрока);
					
		//перебираем все строки без первой строки            
		Для нСтрокаТФ = НачСтрока ПО КонСтрока Цикл      				
			если стар<>Окр(нСтрокаТФ*100/КонСтрока) тогда
				Сообщить(Строка(Окр(нСтрокаТФ*100/КонСтрока))+"%обрабатываю файл");
				стар=Окр(нСтрокаТФ*100/КонСтрока);
			конецесли;				
		конеццикла;		
	конеццикла						
конецфункции	

Посему модифицируем и обработчик ожидания, добавив парсинг сообщений сервера:

&НаКлиенте
Процедура ИндикаторВыполненияЗагрузкиФайловЛС() Экспорт  
	пр=КакДелаУФЗЗагрузкиФайловЛС();   	
	если пр=неопределено тогда  
		этаформа.ИндикаторЗагрузкиЛС=100;
		ОтключитьОбработчикОжидания("ИндикаторВыполненияЗагрузкиФайловЛС");
		Этаформа.Элементы.ПояснениеКЗагрузкеЛС.Заголовок="Файлы обработаны";
	иначе  
		если пр.Количество()>0 тогда
			этаформа.ИндикаторЗагрузкиЛС=пр[0];         		
			Этаформа.Элементы.ПояснениеКЗагрузкеЛС.Заголовок=пр[1];         		
		конецесли;
	конецесли;
КонецПроцедуры	 
&НаСервере
Функция КакДелаУФЗЗагрузкиФайловЛС()
	ФЗ = ФоновыеЗадания.НайтиПоУникальномуИдентификатору(объект.ЛС_ФЗ);
	если ФЗ=Неопределено тогда		
		возврат неопределено;      
	иначе	                                                                                                    
		если ФЗ.Состояние=СостояниеФоновогоЗадания.Завершено тогда
			возврат неопределено;
		конецесли;	   
		если ФЗ.Состояние=СостояниеФоновогоЗадания.ЗавершеноАварийно тогда
			Сообщить("Ошибка:"+ФЗ.ИнформацияОбОшибке.Описание);
			возврат неопределено;
		конецесли;										
		ФСообщения=СК_ГР_ДлительныеОперации.ПолучитьСообщенияФЗ(ФЗ,,истина);
		Если ФСообщения.Количество() > 0 Тогда                  
			Для Каждого Сообщение Из ФСообщения Цикл				
				Если СтрНайти(Сообщение,"%")>0 тогда
					возврат СтрРазделить(Сообщение,"%");
				конецесли;	
			КонецЦикла;
		КонецЕсли;			
		
	конецесли;	
	возврат Новый Массив();                    
конецфункции

1С:Размещение индикатора прогресс бара на форме

Никогда не было и вот опять (с). Давненько не выводил на форму индикатор прогресс бара, и вот итог: забыл как это делается. И главное гугл/яндекс не особо помог. Во всех попадающихся ссылках расписывается как вывести данные в этот индикатор, а вот как вывести его на форму подразумевается что это настолько элементарно, что не требует пояснения 😉 Однакож вот, забыл. И так:

  1. В реквизиты формы добавляем реквизит с типом число
  2. Перетаскиваем его на форму и поле вид выбираем «Поле индикатора»
  3. Для обновления значения, используем «ЭтаФорма.Индикатор=12»
индикатор на форме 1с

P.S. А вот уж как в фоново обновлять индикатор, есть мои другие статьи

Фоновая обработка больших данных в 1С с прогресс баром

Пару лет назад уже сталкивался с подобной задачей (Фоновая обработка больших данных в 1С). Чуть погуглил, что изменилось за это время. А фактически ничего. До сих пор для того чтобы показать обычный прогресс бар, приходится использовать велосипеды. Временные хранилища, для того чтобы передать в клиента результат работы фоновой функции/процедуры как нельзя было использовать, так и сейчас нельзя. Прогресс бар, как нельзя было использовать без костылей…так и сейчас нельзя. Ну я конечно не смотрел что в БСП, т.к. зачастую приходится делать дописки где БСП или нет, или она древняя

Общая «шаблонная» схема использования фонового выполнения функций в 1С можно организаовать следующим образом:

  1. Запускаем фоновое задание
  2. На клиенте запускаем периодическое задание которое отлавливает вывод «сообщить» на сервере
  3. В фоновом задании при помощи «сообщить» выводим всякую служебную информацию. Если нужно в «клиент» передать данные — записываем временный файл в формате например json, и имя его, опять же при помощи «Сообщить» передаём на клиент.
  4. По окончании фонового задания, закрываем выполнение периодического задания

Запуск фонового задания:

&НаКлиенте
...
ЗапускФоновойЗадачи();
ПодключитьОбработчикОжидания("ИндикаторВыполненияЗагрузки",1,ложь);
...
&НаСервере	
Процедура ЗапускФоновойЗадачи()
	МассивПараметров = Новый Массив;
	МассивПараметров.Добавить(параметры);
	ФЗ = ФоновыеЗадания.Выполнить("СК_ГР_ДлительныеОперации.СпарситьИсходныеДанныеНаСервер",МассивПараметров);	
	ЭтаФорма.ФоновоеИдентификатор = ФЗ.УникальныйИдентификатор;				
КонецПроцедуры	

Процедура или функция фонового задания обязательно должна находиться в общем модуле:

Функция СпарситьИсходныеДанныеНаСервер(параметры) экспорт;
...
Сообщить("Выполнено 10%");	
....
Сообщить("Выполнено 100%");
ИмяФайла=ПолучитьИмяВременногоФайла("json");
Текст = Новый ЗаписьТекста(ГдеИскать+ИмяФайла, КодировкаТекста.UTF8);
Текст.Записать(json_str);	
Сообщить("Результат:"+ИмяФайла);
...

Периодическая проверка и «отлов» серверного вывода «Сообщить»:

&НаКлиенте
Процедура ИндикаторВыполненияЗагрузки() Экспорт
	пр=ОпроситьФоновые();
	если пр<>неопределено тогда  
		объект.ИндВыполнения=пр;
		Состояние("Выполнено "+пр);
	конецесли;
КонецПроцедуры

&НаКлиенте
Процедура ИндикаторВыполненияЗагрузки() Экспорт
	пр=ОпроситьФоновые();
	если пр<>неопределено тогда  
		объект.ИндВыполнения=пр;
		Состояние("Выполнено "+пр);
	конецесли;
КонецПроцедуры

&НаСервере
Функция ПолучитьСообщенияФЗ(ФЗ, Состояние = Неопределено, УдалятьСообщения = Ложь) Экспорт
	Если Состояние = Неопределено Тогда
		Состояние = ФЗ.Состояние;
	КонецЕсли;
	МассивСообщений = Новый Массив;
	Сообщения = ФЗ.ПолучитьСообщенияПользователю(УдалятьСообщения);
	Если Сообщения <> Неопределено Тогда
		Для Каждого Сообщение Из Сообщения Цикл
			МассивСообщений.Добавить(Сообщение.Текст);
		КонецЦикла;
	КонецЕсли;
	Возврат МассивСообщений;
КонецФункции

&НаСервере
Функция ОпроситьФоновые()
	прог=неопределено;
	ФЗ = ФоновыеЗадания.НайтиПоУникальномуИдентификатору(ЭтаФорма.ФоновоеИдентификатор);
	если ФЗ=Неопределено тогда
		ОтключитьОбработчикОжидания("ИндикаторВыполненияЗагрузки");
		возврат ложь;
	конецесли;	
	ФСообщения=ПолучитьСообщенияФЗ(ФЗ,,истина);
	Если ФСообщения.Количество() > 0 Тогда
		Для Каждого Сообщение Из ФСообщения Цикл
			Сообщить(Сообщение);
			если найти(Сообщение,"%")>0 тогда
				прог=Число(СтрЗаменить(СтрЗаменить(Сообщение,"Выполнено ",""),"%",""));			
			конецесли;
			если найти(Сообщение,"Результат:")>0 тогда
				ИмяФайла=СтрЗаменить(Сообщение,"Результат:","");
				Текст = Новый ЧтениеТекста(КаталогВременныхФайлов()+ИмяФайла, КодировкаТекста.UTF8);
				СтрокаJson = JsonВСтруктуру(Текст.Прочитать());	
ОтключитьОбработчикОжидания("ИндикаторВыполненияЗагрузки");
			конецесли;				
		КонецЦикла;
	КонецЕсли;
	возврат прог;
КонецФункции

В результате будет что-то вроде:

Фоновая обработка больших данных в 1С

Пример реализации прогресса на WEB странице

Задача: показать прогресс..ну например отправки большого количества СМС.