Архивы Павел - Страница 7 из 283

1С: Ускорение поиска в массиве структур

05.07.2024 Павел Грибов 1C

Задача: есть два массива структур. Один 500 записей, второй — порядка 900 тыс. Нужно для каждой из 500 записей, найти соответствующую запись из второй структуры.

ИсходныеДанные=Новый Структура("субабоненты,реестр_замен",Новый Массив(),Новый Массив(),Новый Массив(),Новый Массив());

1	ИсходныеДанные=Новый Структура("субабоненты,реестр_замен",Новый Массив(),Новый Массив(),Новый Массив(),Новый Массив());

Массив «субабоненты», заполнен структурами вида «то,лс,ипу,окпу,нс,улица,дом,квартира»
Массив «реестр_замен», заполнен структурами вида «лс,нп,улица,дом,квартира,ипу,дата_установки»

Решение 1: ищем и сопоставляем в «лоб»

	найдено=0;
	для каждого суб из ИсходныеДанные.субабоненты цикл
		    поз=поз+1;
			для каждого стр из ИсходныеДанные.реестр_замен цикл			
				если суб.лс=стр.лс тогда
					найдено=найдено+1;		
				конецесли;	
			конеццикла;
	конеццикла;	
	сообщить("-сопоставлено лс: "+найдено);

найдено=0;

для каждого суб из ИсходныеДанные.субабоненты цикл

поз=поз+1;

для каждого стр из ИсходныеДанные.реестр_замен цикл

если суб.лс=стр.лс тогда

найдено=найдено+1;

конецесли;

конеццикла;

сообщить("-сопоставлено лс: "+найдено);

Замеряем время выполнения…и устаём ждать.. Поиск и сопоставление длится по крайне мере несколько часов..

Решение 2:

А зачем нам в массиве субабонентов держать те данные, которых нет? Правильно, не зачем. Поэтому из массива «реестр_замен», сначала вычленим список л/с, и положим его в отдельный массив. И далее при заполнении из файла массива субабонентов, нужно штатно (функция Найти) проверять нужна такая строчка или нет в результирующем массиве? Функция «Найти» скажем работает ОЧЕНЬ быстро.

					если ИсходныеДанные.список_лс.Найти(инф.лс)<>неопределено или ИсходныеДанные.список_ипу.Найти(инф.ипу)<>неопределено тогда
						ИсходныеДанные.субабоненты.Добавить(инф);			                                                
					конецесли;

если ИсходныеДанные.список_лс.Найти(инф.лс)<>неопределено или ИсходныеДанные.список_ипу.Найти(инф.ипу)<>неопределено тогда

ИсходныеДанные.субабоненты.Добавить(инф);

конецесли;

В итоге, в массиве «субабоненты» у нас ровно то количество записей, которое в «реестр_замен «, а вовсе не 900тыс.

И дальше пробуем снова сопоставить:

найдено=0;
	для каждого суб из ИсходныеДанные.субабоненты цикл
		    поз=поз+1;
			для каждого стр из ИсходныеДанные.реестр_замен цикл			
				если суб.лс=стр.лс тогда
					найдено=найдено+1;		
				конецесли;	
			конеццикла;
	конеццикла;	
	сообщить("-сопоставлено лс: "+найдено);

найдено=0;

для каждого суб из ИсходныеДанные.субабоненты цикл

поз=поз+1;

для каждого стр из ИсходныеДанные.реестр_замен цикл

если суб.лс=стр.лс тогда

найдено=найдено+1;

конецесли;

конеццикла;

сообщить("-сопоставлено лс: "+найдено);

Скрипт выполнился уже в приемлемые примерно 400 секунд

Оставить комментарий 1с, поиск в массиве структур

Чтение большого файла csv в 1С

03.07.2024 Павел Грибов 1C

Куда ни глянь, в интернете чаще всего предлагается обработка и чтение большого файла csv в 1С при помощи загрузки в «текстовыйДокумент». Примерно так:

ТекстДок = Новый ТекстовыйДокумент;<br>ТекстДок.Прочитать(ИмяВременногоФайлаХар);		<br>Для Индекс = 2 По ТекстДок.КоличествоСтрок() Цикл<br>	СтрокаФайла = ТекстДок.ПолучитьСтроку(Индекс);<br>конеццикла;

1	ТекстДок = Новый ТекстовыйДокумент;<br>ТекстДок.Прочитать(ИмяВременногоФайлаХар); <br>Для Индекс = 2 По ТекстДок.КоличествоСтрок() Цикл<br> СтрокаФайла = ТекстДок.ПолучитьСтроку(Индекс);<br>конеццикла;

Что в корне не верно, при обработке большого csv файла, так как в этом случае весь файл вычитывается предварительно в память. А она не безразмерная в большинстве случаев. Правильный же способ обработки — построчное чтение файла. Примерно так:

		Текст = Новый ЧтениеТекста(ИмяВременногоФайлаХар, КодировкаТекста.ANSI);
		Стр = Текст.ПрочитатьСтроку();
		Пока Стр <> Неопределено Цикл 
		   Сообщить(Стр);
		   Стр = Текст.ПрочитатьСтроку();
			МассивПодстрок = СтрРазделить(Стр, ";");
			инф=Новый Структура("то,лс,ипу,окпу,нс,улица,дом,квартира");
			инф.то		=СокрЛП(МассивПодстрок[2]);
			инф.лс		=СокрЛП(СтрЗаменить(МассивПодстрок[3],"-",""));
			инф.ипу		=СокрЛП(МассивПодстрок[31]);
			инф.окпу	=СокрЛП(МассивПодстрок[92]);
			инф.нс		=СокрЛП(МассивПодстрок[8]);
			инф.улица	=СокрЛП(МассивПодстрок[9]);
			инф.дом		=СокрЛП(МассивПодстрок[10]);
			инф.квартира=СокрЛП(МассивПодстрок[11]);
			ИсходныеДанные.субабоненты.Добавить(инф);			
		   КонецЦикла;

Текст = Новый ЧтениеТекста(ИмяВременногоФайлаХар, КодировкаТекста.ANSI);

Стр = Текст.ПрочитатьСтроку();

Пока Стр <> Неопределено Цикл

Сообщить(Стр);

Стр = Текст.ПрочитатьСтроку();

МассивПодстрок = СтрРазделить(Стр, ";");

инф=Новый Структура("то,лс,ипу,окпу,нс,улица,дом,квартира");

инф.то =СокрЛП(МассивПодстрок[2]);

инф.лс =СокрЛП(СтрЗаменить(МассивПодстрок[3],"-",""));

инф.ипу =СокрЛП(МассивПодстрок[31]);

инф.окпу =СокрЛП(МассивПодстрок[92]);

инф.нс =СокрЛП(МассивПодстрок[8]);

инф.улица =СокрЛП(МассивПодстрок[9]);

инф.дом =СокрЛП(МассивПодстрок[10]);

инф.квартира=СокрЛП(МассивПодстрок[11]);

ИсходныеДанные.субабоненты.Добавить(инф);

КонецЦикла;

Оставить комментарий 1с, csv, большой файл

Чтиво за последнее время

03.07.2024 Павел Грибов Чтиво

Давно не писал в эту рубрику «чтиво за последнее время». Забыл, забегался да и дачный сезон 😉

Жорж-иномирец 1-4. Автор: Сергей Панченко. Сюжет: обычный человек после ДТП получил возможность ходить между измерениями, коих бесконечно. Там он находит друзей ну и разные приключения конечно. Читабельность: 4

Попаданец с огромным потенциалом. Автор: Сергей Полев. Сюжет: хорошо поживший в своём мире человек попадает в другое измерение в другое тело. Там где магия и приключения. Читабельность 4.

Триллионер из трущеб 1-4. Автор: Сергей Полев. Сюжет: Попаданец в мир где правит система. Обладает уникальным навыком — тратить заработанные деньги на бесконечную прокачку навыков. Читабельность 3.

Грани. Автор: Валентин Дмитриев. Сюжет: Два друга встречают основательницу загадочной фирмы «Пирамида», которая может исполнять любые желания. Читабельность 2. Не дочитал..

Звёзды — холодные игрушки. Автор: Сергей Лукьяненко. Третья или четвертая перечитка уже. Читабельность 5 😉

Сборник Гаджет 1-10. Автор: Сергей Лукьяненко. Сборник фантастических рассказов на различные тематики. Читабельность 4.

Остальное моё чтиво тут

Оставить комментарий

Установка OpenSSH из исходных кодов на RedOS

01.07.2024 Павел Грибов Linux

Задача: необходимо обновить существующую установку демона sshd на ОС RedOS (установка sshd из исходников).

Решение:

Подготавливаю необходимый инструментарий и окружение:

dnf install libtool svn expat-devel pcre pcre-devel openssl-devel -y
dnf install zlib-devel
dnf install pam-devel
dnf install libselinux-devel

dnf install libtool svn expat-devel pcre pcre-devel openssl-devel -y

dnf install zlib-devel

dnf install pam-devel

dnf install libselinux-devel

Скачиваю на сайте https://cdn.openbsd.org/pub/OpenBSD/OpenSSH/portable/ необходимую версию sshd, распаковываем её в папку и переходим в неё:

tar -xzf openssh-9.8p1.tar.gz
cd openssh-9.8p1

1 2	tar -xzf openssh-9.8p1.tar.gz cd openssh-9.8p1

Конфигурируем, cобираем, устанавливаем:

./configure --with-md5-passwords --with-privsep-path=/var/lib/sshd/ --sysconfdir=/etc/ssh --with-pam --with-selinux
make
make install

./configure --with-md5-passwords --with-privsep-path=/var/lib/sshd/ --sysconfdir=/etc/ssh --with-pam --with-selinux

make

make install

После установки нужно перестартовать демон и посмотреть версию sshd:

service sshd restart
ssh -V

1 2	service sshd restart ssh -V

Оставить комментарий redos, ssh, sshd, исходные коды, обновление

Таблица в массив на php

27.06.2024 Павел Грибов PHP

Задача: Есть некая очень захламленная сторонними элементами страница в разметке html. Необходимо преобразовать находящуюся на ней таблица в массив данных.

Решение: сначала вычленим «грязное» содержимое таблицы между тегами <tbody></tbody>, затем преобразуем его в DOM документ, а далее уже распарсим его обходами и разложим элементы в массив.

Получилось что-то вроде:

 //вычленяю таблицу
        $t1=explode("<tbody>",$res);
        $t2=explode("</tbody>",$t1[1]);
        $tbody="<html><head><meta charset='UTF-8'></head><body><table><tbody>".$t2[0]."</tbody></table></body></html>";
        
        $mass=[];
        $dom = new domDocument('1.0', 'utf-8'); 
        @$dom->loadHTML($tbody);         
        $tables= $dom->getElementsByTagName('table');
        foreach ($tables as $table) {
            $trs= $table->getElementsByTagName('tr');
            foreach ($trs as $tr) {
                $tds=$tr->getElementsByTagName('td');
                $info=[];
                foreach ($tds as $td) {                    
                    $info[]=$td->textContent;
                };
                $mass[]=$info;
            }
        }

//вычленяю таблицу

$t1=explode("<tbody>",$res);

$t2=explode("</tbody>",$t1[1]);

$tbody="<html><head><meta charset='UTF-8'></head><body><table><tbody>".$t2[0]."</tbody></table></body></html>";

$mass=[];

$dom = new domDocument('1.0', 'utf-8');

@$dom->loadHTML($tbody);

$tables= $dom->getElementsByTagName('table');

foreach ($tables as $table) {

$trs= $table->getElementsByTagName('tr');

foreach ($trs as $tr) {

$tds=$tr->getElementsByTagName('td');

$info=[];

foreach ($tds as $td) {

$info[]=$td->textContent;

};

$mass[]=$info;

}

Оставить комментарий html, php, таблица в массив

« 1 … 5 6 7 8 9 … 283 »

Пн	Вт	Ср	Чт	Пт	Сб	Вс
				1	2	3
4	5	6	7	8	9	10
11	12	13	14	15	16	17
18	19	20	21	22	23	24
25	26	27	28	29	30