Архивы WEB - Страница 17 из 54

Автоматическое увеличение номера билда на переносе скрипта с dev в prod

13.09.2021 Павел Грибов WEB

Задача: при переносе ряда скриптов с dev сервера на prod сервер, автоматически увеличивать номер сборки, дабы можно было идентифицировать, с какой версии начались потенциальные проблемы у пользователей

Решение: т.к. перенос скриптов из ветки dev в ветку prod происходит скриптом на bash, то просто допишем сей функционал, в виде что-то вроде:

read version</var/www/www-root/data/www/fewrfwer.ru/version.txt;
((version++))
echo $version>/var/www/www-root/data/www/fewrfwer.ru/version.txt;
D=$(date  +%Y-%m-%d)
T=$(date +%H:%M:%S)
echo "$D" "$T" " выпущена версия $version" >> /var/www/www-root/data/www/fewrfwer.ru/hist_version.txt;

read version</var/www/www-root/data/www/fewrfwer.ru/version.txt;

((version++))

echo $version>/var/www/www-root/data/www/fewrfwer.ru/version.txt;

D=$(date +%Y-%m-%d)

T=$(date +%H:%M:%S)

echo "$D" "$T" " выпущена версия $version" >> /var/www/www-root/data/www/fewrfwer.ru/hist_version.txt;

Итого имеем в файле versions.txt — текущий номер сборки, а в файле дату и время формирования новой сборки. Ну собственно этого достаточно, например для того чтобы понять когда была внесена например ошибка, а далее уже дело техники..

Оставить комментарий номер сборки

JavaScript: добавить лидирующий 0 к числу

02.08.2021 Павел Грибов WEB

Задача: добавить к числу лидирующий 0, если число однозначное, и не добавлять соответственно, если двухзначное.

Решение: есть два способа, старый, работающий во всех браузерах, и новый — для браузеров 2018 года и новее.

Способ 1:

function pad(value) {
    return ("0"+value).slice(-2);
}

function pad(value) {

return ("0"+value).slice(-2);

}

Способ 2:

function pad(value) {
    return value.tostring().padstart(2, 0);
}

function pad(value) {

return value.tostring().padstart(2, 0);

}

Оставить комментарий javascript, лидирующий 0, лидирующий ноль

PHP: Использование CURL с сертифкатом

07.07.2021 Павел Грибов PHP, WEB

Задача: Некий удаленный ресурс проверяет сертификат пользователя, при попытке получить с него данные. В наличии только стандартные сертификаты выданные LetEncrypt.

Решение:

Сертификаты необходимо сконвертировать. В наличии:

sert.crt — сертификат домена в PEM формате
sert.key — приватный ключ PEM формате

Конвертируем используя промежуточную конвертацию в формат p12:

openssl pkcs12 -export -in sert.crt -inkey sert.key -out sert.p12
openssl pkcs12 -in sert.p12 -nodes -out result.pem

1 2	openssl pkcs12 -export -in sert.crt -inkey sert.key -out sert.p12 openssl pkcs12 -in sert.p12 -nodes -out result.pem

По итогу получили файл result.pem. Далее его и будем использовать при работе с curl:

$ch = curl_init();
                curl_setopt($ch, CURLOPT_URL, "https://некий ресурс");    
                curl_setopt($ch, CURLOPT_SSLCERT, WUO_ROOT."result.pem" );
                curl_setopt($ch,CURLOPT_SSLCERTTYPE,"PEM");
                curl_setopt($ch, CURLOPT_HTTPHEADER, array('Content-Type: application/x-www-form-urlencoded'));
                curl_setopt($ch, CURLOPT_RETURNTRANSFER, True);
                curl_setopt($ch, CURLOPT_POST, True);
                curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
                $post=http_build_query($post, '', '&');
                curl_setopt($ch, CURLOPT_POSTFIELDS, $post);
                curl_setopt($ch, CURLOPT_VERBOSE, true);
                $result = curl_exec($ch);
                curl_close($ch);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://некий ресурс");

curl_setopt($ch, CURLOPT_SSLCERT, WUO_ROOT."result.pem" );

curl_setopt($ch,CURLOPT_SSLCERTTYPE,"PEM");

curl_setopt($ch, CURLOPT_HTTPHEADER, array('Content-Type: application/x-www-form-urlencoded'));

curl_setopt($ch, CURLOPT_RETURNTRANSFER, True);

curl_setopt($ch, CURLOPT_POST, True);

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);

$post=http_build_query($post, '', '&');

curl_setopt($ch, CURLOPT_POSTFIELDS, $post);

curl_setopt($ch, CURLOPT_VERBOSE, true);

$result = curl_exec($ch);

curl_close($ch);

Оставить комментарий curl, pem, ssl, сертификат

Xpath — поиск текста и части текста на странице

29.06.2021 Павел Грибов WEB

Поиск точного совпадения:

//div[@data-ng-if='!filter.query']/span[text()='20 из ']

1	//div[@data-ng-if='!filter.query']/span[text()='20 из ']

Поиск по части текста:

//div[@data-ng-if='!filter.query']/span[contains(text(), '20')]

1	//div[@data-ng-if='!filter.query']/span[contains(text(), '20')]

Оставить комментарий xpath, поиск текста, совпадения

парсер ГосУслуг

28.06.2021 Павел Грибов WEB

Задача: выкачать файлы уведомлений от ФССП приходящие для организации.

Почему нет штатного API для получения уведомлений на Госуслугах, вопрос интересный. В результате каждая организация которая в большом объеме работает со службой судебных приставов изобретает свой инструмент для автоматизации получения уведомлений. И я сей чаши не избежал 😉

Решение: напишем парсер на node.js с использование Selenium 2

// Начальные установки..
// количество выгружаемых уведомлений
cnt_uv=100;
// логин для входа в госуслуги
login="+094802к934к"
// пароль для входа 
pass="уамцумцук ";
// путь для сохранения файлов
save_path="c:\\tmp";
// полное название организации
full_name="ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ «РОГА И КОПЫТА»";

var webdriver = require('selenium-webdriver');

const {Builder, By, Key, until} = require('selenium-webdriver');
(async function example() {

    var chrome = require("selenium-webdriver/chrome");
    var chromeOptions = new chrome.Options();
    chromeOptions.addArguments("test-type");
//    chromeOptions.addArguments("start-maximized");
//    chromeOptions.addArguments("--js-flags=--expose-gc");
//    chromeOptions.addArguments("--enable-precise-memory-info");
  //  chromeOptions.addArguments("--disable-popup-blocking");
 //   chromeOptions.addArguments("--disable-default-apps");
//    chromeOptions.addArguments("--disable-infobars");
    //chromeOptions.addArguments("--user-data-dir=C:\\tmp");
    chromeOptions.addArguments("safebrowsing-disable-download-protection");

    let driver = await new Builder().forBrowser('chrome').setChromeOptions(chromeOptions).build();
    driver.setDownloadPath(save_path);
  try {            
    console.log("-загружаем страницу авторизации");
    await driver.get('https://lk.gosuslugi.ru');
    console.log("--ok");
    console.log("-ждем отрисовки");   
    elm= await driver.wait(until.elementLocated(By.xpath(".//button[@id='loginByPwdButton']"), 30000));            
    console.log("--ok");
    console.log("-вставляем логин пароль и кликаем Enter");   
    await driver.findElement(By.id('login')).sendKeys(login,Key.TAB,pass,Key.RETURN);
    console.log("--ok");
    console.log("--ok");
    console.log("-ищем full_name и кликаем по ней");   
         elm= await driver.wait(until.elementLocated(By.xpath(".//div[@title='"+full_name+"']"), 30000));        
         await driver.executeScript("arguments[0].click();", elm);        
    console.log("--ok");
    console.log("-ждем пока не будет перехода на нужную страницу");           
    ccurl="";
    while (ccurl!=="https://lk.gosuslugi.ru/info"){
        await driver.getCurrentUrl().then(
                url => {console.log('current url: "' + url + '"');ccurl=url;}
        );
        await driver.sleep(100);
    };
    //elm= await driver.wait(until.elementLocated(By.xpath(".//a[@data-ng-href='https://esia.gosuslugi.ru/profile/org/org.xhtml?orgOid=1087125902']"), 30000));            
    //await driver.sleep(2000) 
    console.log("--ok");
    console.log("-идём на страницу уведомлений");   
    for (var i = 1; i < cnt_uv; i++) {
        await driver.get("https://lk.gosuslugi.ru/notifications")
        //console.log("--ok");        
        //console.log("-загружаю "+cnt_uv+" сообщений");           
        await GetNotifications(driver,cnt_uv);         
        //console.log("--ok");        
        //console.log("-кликаю по первому уведомлению и сохраняю файлы");           
        await UvedOpen(i);
        console.log("--ok сохранен файл " +i+" из "+cnt_uv);            
    };
            
    async function UvedOpen(n){
        fl=await driver.findElements(By.xpath(".//a[@data-ng-click='openDetails(notification)' and @class='grid-wrap__col-lg-1 grid-wrap__col-md-1 grid-wrap__col-sm-1 grid-wrap__col-md-land-1 pad-top-24 pad-bottom-24']"))        
         await driver.executeScript("arguments[0].scrollIntoView()", fl[n]);
         await driver.executeScript("arguments[0].click();", fl[n]);                
         elm= await driver.wait(until.elementLocated(By.linkText('Сохранить'), 30000));        
         //await driver.executeScript("arguments[0].click();", elm);
         elm=await driver.findElements(By.linkText('Сохранить'));
         elm[0].click();
         elm[1].click();  
         await driver.sleep(1000);
    }
    async function GetNotifications(driver,cnt){ 
        for (var i = 0; i < cnt/10; i++) {
            pp=((i+1)*10);
            //console.log("----ждем появления кнопки 'Показать еще ("+pp+")'");        
             elm= await driver.wait(until.elementLocated(By.linkText('Показать еще'), 30000));        
            //console.log("----ok");
            //console.log("-нажимаю кнопку 'Показать еще'");       
               await driver.executeScript("arguments[0].scrollIntoView()", elm);
               await driver.executeScript("arguments[0].click();", elm);
            //console.log("--ok");
        };     
        //console.log("-ждем полной прогрузки страницы");       
        fl=  await driver.findElements(By.xpath(".//a[@data-ng-click='openDetails(notification)' and @class='grid-wrap__col-lg-1 grid-wrap__col-md-1 grid-wrap__col-sm-1 grid-wrap__col-md-land-1 pad-top-24 pad-bottom-24']"))        
        while (fl.length<cnt_uv){
            fl=  await driver.findElements(By.xpath(".//a[@data-ng-click='openDetails(notification)' and @class='grid-wrap__col-lg-1 grid-wrap__col-md-1 grid-wrap__col-sm-1 grid-wrap__col-md-land-1 pad-top-24 pad-bottom-24']"))        
             await driver.sleep(100);
          //  console.log("---ждем..");
        };      
    };    
    
  } finally {    
    console.log("-вот и всё ребята..");
    await driver.quit();
  }
})();

100

101

102

103

104

105

106

// Начальные установки..

// количество выгружаемых уведомлений

cnt_uv=100;

// логин для входа в госуслуги

// пароль для входа

pass="уамцумцук ";

// путь для сохранения файлов

save_path="c:\\tmp";

// полное название организации

full_name="ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ «РОГА И КОПЫТА»";

var webdriver = require('selenium-webdriver');

const {Builder, By, Key, until} = require('selenium-webdriver');

(async function example() {

var chrome = require("selenium-webdriver/chrome");

var chromeOptions = new chrome.Options();

chromeOptions.addArguments("test-type");

// chromeOptions.addArguments("start-maximized");

// chromeOptions.addArguments("--js-flags=--expose-gc");

// chromeOptions.addArguments("--enable-precise-memory-info");

// chromeOptions.addArguments("--disable-popup-blocking");

// chromeOptions.addArguments("--disable-default-apps");

// chromeOptions.addArguments("--disable-infobars");

//chromeOptions.addArguments("--user-data-dir=C:\\tmp");

chromeOptions.addArguments("safebrowsing-disable-download-protection");

let driver = await new Builder().forBrowser('chrome').setChromeOptions(chromeOptions).build();

driver.setDownloadPath(save_path);

try {

console.log("-загружаем страницу авторизации");

await driver.get('https://lk.gosuslugi.ru');

console.log("--ok");

console.log("-ждем отрисовки");

elm= await driver.wait(until.elementLocated(By.xpath(".//button[@id='loginByPwdButton']"), 30000));

console.log("--ok");

console.log("-вставляем логин пароль и кликаем Enter");

await driver.findElement(By.id('login')).sendKeys(login,Key.TAB,pass,Key.RETURN);

console.log("--ok");

console.log("-ищем full_name и кликаем по ней");

elm= await driver.wait(until.elementLocated(By.xpath(".//div[@title='"+full_name+"']"), 30000));

await driver.executeScript("arguments[0].click();", elm);

console.log("--ok");

console.log("-ждем пока не будет перехода на нужную страницу");

ccurl="";

while (ccurl!=="https://lk.gosuslugi.ru/info"){

await driver.getCurrentUrl().then(

url => {console.log('current url: "' + url + '"');ccurl=url;}

);

await driver.sleep(100);

};

//elm= await driver.wait(until.elementLocated(By.xpath(".//a[@data-ng-href='https://esia.gosuslugi.ru/profile/org/org.xhtml?orgOid=1087125902']"), 30000));

//await driver.sleep(2000)

console.log("--ok");

console.log("-идём на страницу уведомлений");

for (var i = 1; i < cnt_uv; i++) {

await driver.get("https://lk.gosuslugi.ru/notifications")

//console.log("--ok");

//console.log("-загружаю "+cnt_uv+" сообщений");

await GetNotifications(driver,cnt_uv);

//console.log("--ok");

//console.log("-кликаю по первому уведомлению и сохраняю файлы");

await UvedOpen(i);

console.log("--ok сохранен файл " +i+" из "+cnt_uv);

};

async function UvedOpen(n){

fl=await driver.findElements(By.xpath(".//a[@data-ng-click='openDetails(notification)' and @class='grid-wrap__col-lg-1 grid-wrap__col-md-1 grid-wrap__col-sm-1 grid-wrap__col-md-land-1 pad-top-24 pad-bottom-24']"))

await driver.executeScript("arguments[0].scrollIntoView()", fl[n]);

await driver.executeScript("arguments[0].click();", fl[n]);

elm= await driver.wait(until.elementLocated(By.linkText('Сохранить'), 30000));

//await driver.executeScript("arguments[0].click();", elm);

elm=await driver.findElements(By.linkText('Сохранить'));

elm[0].click();

elm[1].click();

await driver.sleep(1000);

}

async function GetNotifications(driver,cnt){

for (var i = 0; i < cnt/10; i++) {

pp=((i+1)*10);

//console.log("----ждем появления кнопки 'Показать еще ("+pp+")'");

elm= await driver.wait(until.elementLocated(By.linkText('Показать еще'), 30000));

//console.log("----ok");

//console.log("-нажимаю кнопку 'Показать еще'");

await driver.executeScript("arguments[0].scrollIntoView()", elm);

await driver.executeScript("arguments[0].click();", elm);

//console.log("--ok");

};

//console.log("-ждем полной прогрузки страницы");

fl= await driver.findElements(By.xpath(".//a[@data-ng-click='openDetails(notification)' and @class='grid-wrap__col-lg-1 grid-wrap__col-md-1 grid-wrap__col-sm-1 grid-wrap__col-md-land-1 pad-top-24 pad-bottom-24']"))

while (fl.length<cnt_uv){

fl= await driver.findElements(By.xpath(".//a[@data-ng-click='openDetails(notification)' and @class='grid-wrap__col-lg-1 grid-wrap__col-md-1 grid-wrap__col-sm-1 grid-wrap__col-md-land-1 pad-top-24 pad-bottom-24']"))

await driver.sleep(100);

// console.log("---ждем..");

};

} finally {

console.log("-вот и всё ребята..");

await driver.quit();

}

})();

Оставить комментарий nodejs, selenium, парсер, уведомления ФССП

« 1 … 15 16 17 18 19 … 54 »

Март 2025
Пн	Вт	Ср	Чт	Пт	Сб	Вс
					1	2
3	4	5	6	7	8	9
10	11	12	13	14	15	16
17	18	19	20	21	22	23
24	25	26	27	28	29	30
31