Чтение большого файла csv в 1С

Куда ни глянь, в интернете чаще всего предлагается обработка и чтение большого файла csv в 1С при помощи загрузки в «текстовыйДокумент». Примерно так:

ТекстДок = Новый ТекстовыйДокумент;
ТекстДок.Прочитать(ИмяВременногоФайлаХар);
Для Индекс = 2 По ТекстДок.КоличествоСтрок() Цикл
СтрокаФайла = ТекстДок.ПолучитьСтроку(Индекс);
конеццикла;

Что в корне не верно, при обработке большого csv файла, так как в этом случае весь файл вычитывается предварительно в память. А она не безразмерная в большинстве случаев. Правильный же способ обработки — построчное чтение файла. Примерно так:

		Текст = Новый ЧтениеТекста(ИмяВременногоФайлаХар, КодировкаТекста.ANSI);
		Стр = Текст.ПрочитатьСтроку();
		Пока Стр <> Неопределено Цикл 
		   Сообщить(Стр);
		   Стр = Текст.ПрочитатьСтроку();
			МассивПодстрок = СтрРазделить(Стр, ";");
			инф=Новый Структура("то,лс,ипу,окпу,нс,улица,дом,квартира");
			инф.то		=СокрЛП(МассивПодстрок[2]);
			инф.лс		=СокрЛП(СтрЗаменить(МассивПодстрок[3],"-",""));
			инф.ипу		=СокрЛП(МассивПодстрок[31]);
			инф.окпу	=СокрЛП(МассивПодстрок[92]);
			инф.нс		=СокрЛП(МассивПодстрок[8]);
			инф.улица	=СокрЛП(МассивПодстрок[9]);
			инф.дом		=СокрЛП(МассивПодстрок[10]);
			инф.квартира=СокрЛП(МассивПодстрок[11]);
			ИсходныеДанные.субабоненты.Добавить(инф);			
		   КонецЦикла; 		
	

Чтиво за последнее время

Давно не писал в эту рубрику «чтиво за последнее время». Забыл, забегался да и дачный сезон 😉

Жорж-иномирец 1-4. Автор: Сергей Панченко. Сюжет: обычный человек после ДТП получил возможность ходить между измерениями, коих бесконечно. Там он находит друзей ну и разные приключения конечно. Читабельность: 4

Попаданец с огромным потенциалом. Автор: Сергей Полев. Сюжет: хорошо поживший в своём мире человек попадает в другое измерение в другое тело. Там где магия и приключения. Читабельность 4.

чтиво за последнее время

Триллионер из трущеб 1-4. Автор: Сергей Полев. Сюжет: Попаданец в мир где правит система. Обладает уникальным навыком — тратить заработанные деньги на бесконечную прокачку навыков. Читабельность 3.

Грани. Автор: Валентин Дмитриев. Сюжет: Два друга встречают основательницу загадочной фирмы «Пирамида», которая может исполнять любые желания. Читабельность 2. Не дочитал..

Звёзды — холодные игрушки. Автор: Сергей Лукьяненко. Третья или четвертая перечитка уже. Читабельность 5 😉

Сборник Гаджет 1-10. Автор: Сергей Лукьяненко. Сборник фантастических рассказов на различные тематики. Читабельность 4.

Остальное моё чтиво тут

Установка OpenSSH из исходных кодов на RedOS

Задача: необходимо обновить существующую установку демона sshd на ОС RedOS (установка sshd из исходников).

Решение:

Подготавливаю необходимый инструментарий и окружение:

dnf install libtool svn expat-devel pcre pcre-devel openssl-devel -y
dnf install zlib-devel
dnf install pam-devel
dnf install libselinux-devel

Скачиваю на сайте https://cdn.openbsd.org/pub/OpenBSD/OpenSSH/portable/ необходимую версию sshd, распаковываем её в папку и переходим в неё:

tar -xzf openssh-9.8p1.tar.gz
cd openssh-9.8p1

Конфигурируем, cобираем, устанавливаем:

./configure --with-md5-passwords --with-privsep-path=/var/lib/sshd/ --sysconfdir=/etc/ssh --with-pam --with-selinux
make
make install

После установки нужно перестартовать демон и посмотреть версию sshd:

service sshd restart
ssh -V
установка sshd из исходников

Таблица в массив на php

Задача: Есть некая очень захламленная сторонними элементами страница в разметке html. Необходимо преобразовать находящуюся на ней таблица в массив данных.

Решение: сначала вычленим «грязное» содержимое таблицы между тегами <tbody></tbody>, затем преобразуем его в DOM документ, а далее уже распарсим его обходами и разложим элементы в массив.

Получилось что-то вроде:

 //вычленяю таблицу
        $t1=explode("<tbody>",$res);
        $t2=explode("</tbody>",$t1[1]);
        $tbody="<html><head><meta charset='UTF-8'></head><body><table><tbody>".$t2[0]."</tbody></table></body></html>";
        
        $mass=[];
        $dom = new domDocument('1.0', 'utf-8'); 
        @$dom->loadHTML($tbody);         
        $tables= $dom->getElementsByTagName('table');
        foreach ($tables as $table) {
            $trs= $table->getElementsByTagName('tr');
            foreach ($trs as $tr) {
                $tds=$tr->getElementsByTagName('td');
                $info=[];
                foreach ($tds as $td) {                    
                    $info[]=$td->textContent;
                };
                $mass[]=$info;
            }
        }        

Bitrix: Request is not XHR

В одном из проектов, скрипт парсит сайт на bitrix. С какого то момента, при установке параметров таблицы отдаваемой по ajax, стала выводиться ошибка «Request is not XHR». Быстрый гуглинг решения не дал. Стал кропотливо сравнивать заголовки которые отдаются запросом в браузере и заголовки который отдавал в скрипте. Отличие нашлось относительно быстро, страница на сайте добавляла дополнительный заголовок «Bx-ajax:true». В результате модифицировал скрипт следующим образом:

        $custom_header=[];
        $custom_header[]="Access-Control-Allow-Origin: *";
        $custom_header[]="Accept: */*";
        $custom_header[]="Bx-ajax:true";
        $res=$this->request("/bitrix/components/bitrix/main.ui.grid/settings.ajax.php?GRID_ID=".$grid_id."&bxajaxid=".$bxajaxid."&action=setSort",$param,"POST",true,$custom_header);        
        var_dump($res);

Сама функция запроса уже устоялась, и при таскании из скрипта в скрипт у меня выглядит так::

 public function request($query,$param,$type="POST",$headers=false,$custom_header=[],$follow_location=true) {
        $url=$this->url.$query;
        if ($this->debug==true){echo "URL:$url\n";};
        $ch = curl_init($url);        
        curl_setopt($ch, CURLOPT_VERBOSE, $this->debug);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, $follow_location); 
        if ($headers==true){
            curl_setopt($ch, CURLOPT_HEADER, 1);
        };
        if ($type=="POST"){
            curl_setopt($ch, CURLOPT_POST, 1);        
            curl_setopt($ch, CURLOPT_POSTFIELDS, $param);
            if ($this->debug==true){
                echo "---------------- POST -------------\n";
                var_dump($param);
                echo "-----------------------------------\n";
            };
        };        
        if (count($custom_header)>0){          
          curl_setopt($ch, CURLOPT_HTTPHEADER, $custom_header);  
          if ($this->debug==true){
            echo "---------------- HEADER -------------\n";            
            var_dump($custom_header);
            echo "-----------------------------------\n";
          };
        };
        if (count($this->cookies)>0){
            $str_cook="";
            foreach ($this->cookies as $key=>$value) {
             $str_cook=$str_cook.$key."=".$value.";";   
            };
            if ($this->debug==true){
                echo "COOKIE:$str_cook\n";  
            };

            curl_setopt($ch, CURLOPT_COOKIE,$str_cook);               
        };
        
        $res=curl_exec($ch);        
          if (curl_errno($ch)) {
            $error_msg = curl_error($ch);
            if ($this->debug==true){
              var_dump($res);
              var_dump($error_msg);
              die();  
            };
          };  
        if ($this->debug==true){
                echo "---------------- РЕЗУЛЬТАТ -------------\n";
                var_dump($res);
                echo "-------------------------- -------------\n";
        };          
        return $res;
    }    
Request is not XHR
1 23 24 25 26 27 310