Метка: nodejs

Node.js: POST запрос с авторизацией по HTTP

WEB

Задача: передать данные через POST на ресурс по протоколу https с авторизацией.

Решение:

const https = require('https');
function SendJson2Https(data){
    const options = {
      hostname: 'vqrcfwervcwe1',
      port: 443,
      path: '/owprfhwoeir/command',
      method: 'POST',
      rejectUnauthorized: false,
      strictSSL: false,
      headers: {
        "Authorization":"Basic " + new Buffer.from('Admin' + ":" + 'qrwecvwervwe').toString('base64'),          
        'Content-Type': 'application/json',
        'Content-Length': data.length
      }
    }
    const req = https.request(options, (res) => {
      console.log(statusCode: ${res.statusCode})
      res.on('data', (d) => {
        process.stdout.write(d)
      })
    })
    req.on('error', (error) => {
      console.error(error)
    })
    req.write(data)
    req.end()    
};
Оставить комментарий ,

парсер ГосУслуг

WEB

Задача: выкачать файлы уведомлений от ФССП приходящие для организации.

Почему нет штатного API для получения уведомлений на Госуслугах, вопрос интересный. В результате каждая организация которая в большом объеме работает со службой судебных приставов изобретает свой инструмент для автоматизации получения уведомлений. И я сей чаши не избежал 😉

Решение: напишем парсер на node.js с использование Selenium 2

// Начальные установки..
// количество выгружаемых уведомлений
cnt_uv=100;
// логин для входа в госуслуги
login="+094802к934к"
// пароль для входа 
pass="уамцумцук ";
// путь для сохранения файлов
save_path="c:\\tmp";
// полное название организации
full_name="ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ «РОГА И КОПЫТА»";

var webdriver = require('selenium-webdriver');

const {Builder, By, Key, until} = require('selenium-webdriver');
(async function example() {

    var chrome = require("selenium-webdriver/chrome");
    var chromeOptions = new chrome.Options();
    chromeOptions.addArguments("test-type");
//    chromeOptions.addArguments("start-maximized");
//    chromeOptions.addArguments("--js-flags=--expose-gc");
//    chromeOptions.addArguments("--enable-precise-memory-info");
  //  chromeOptions.addArguments("--disable-popup-blocking");
 //   chromeOptions.addArguments("--disable-default-apps");
//    chromeOptions.addArguments("--disable-infobars");
    //chromeOptions.addArguments("--user-data-dir=C:\\tmp");
    chromeOptions.addArguments("safebrowsing-disable-download-protection");

    let driver = await new Builder().forBrowser('chrome').setChromeOptions(chromeOptions).build();
    driver.setDownloadPath(save_path);
  try {            
    console.log("-загружаем страницу авторизации");
    await driver.get('https://lk.gosuslugi.ru');
    console.log("--ok");
    console.log("-ждем отрисовки");   
    elm= await driver.wait(until.elementLocated(By.xpath(".//button[@id='loginByPwdButton']"), 30000));            
    console.log("--ok");
    console.log("-вставляем логин пароль и кликаем Enter");   
    await driver.findElement(By.id('login')).sendKeys(login,Key.TAB,pass,Key.RETURN);
    console.log("--ok");
    console.log("--ok");
    console.log("-ищем full_name и кликаем по ней");   
         elm= await driver.wait(until.elementLocated(By.xpath(".//div[@title='"+full_name+"']"), 30000));        
         await driver.executeScript("arguments[0].click();", elm);        
    console.log("--ok");
    console.log("-ждем пока не будет перехода на нужную страницу");           
    ccurl="";
    while (ccurl!=="https://lk.gosuslugi.ru/info"){
        await driver.getCurrentUrl().then(
                url => {console.log('current url: "' + url + '"');ccurl=url;}
        );
        await driver.sleep(100);
    };
    //elm= await driver.wait(until.elementLocated(By.xpath(".//a[@data-ng-href='https://esia.gosuslugi.ru/profile/org/org.xhtml?orgOid=1087125902']"), 30000));            
    //await driver.sleep(2000) 
    console.log("--ok");
    console.log("-идём на страницу уведомлений");   
    for (var i = 1; i < cnt_uv; i++) {
        await driver.get("https://lk.gosuslugi.ru/notifications")
        //console.log("--ok");        
        //console.log("-загружаю "+cnt_uv+" сообщений");           
        await GetNotifications(driver,cnt_uv);         
        //console.log("--ok");        
        //console.log("-кликаю по первому уведомлению и сохраняю файлы");           
        await UvedOpen(i);
        console.log("--ok сохранен файл " +i+" из "+cnt_uv);            
    };
            
    async function UvedOpen(n){
        fl=await driver.findElements(By.xpath(".//a[@data-ng-click='openDetails(notification)' and @class='grid-wrap__col-lg-1 grid-wrap__col-md-1 grid-wrap__col-sm-1 grid-wrap__col-md-land-1 pad-top-24 pad-bottom-24']"))        
         await driver.executeScript("arguments[0].scrollIntoView()", fl[n]);
         await driver.executeScript("arguments[0].click();", fl[n]);                
         elm= await driver.wait(until.elementLocated(By.linkText('Сохранить'), 30000));        
         //await driver.executeScript("arguments[0].click();", elm);
         elm=await driver.findElements(By.linkText('Сохранить'));
         elm[0].click();
         elm[1].click();  
         await driver.sleep(1000);
    }
    async function GetNotifications(driver,cnt){ 
        for (var i = 0; i < cnt/10; i++) {
            pp=((i+1)*10);
            //console.log("----ждем появления кнопки 'Показать еще ("+pp+")'");        
             elm= await driver.wait(until.elementLocated(By.linkText('Показать еще'), 30000));        
            //console.log("----ok");
            //console.log("-нажимаю кнопку 'Показать еще'");       
               await driver.executeScript("arguments[0].scrollIntoView()", elm);
               await driver.executeScript("arguments[0].click();", elm);
            //console.log("--ok");
        };     
        //console.log("-ждем полной прогрузки страницы");       
        fl=  await driver.findElements(By.xpath(".//a[@data-ng-click='openDetails(notification)' and @class='grid-wrap__col-lg-1 grid-wrap__col-md-1 grid-wrap__col-sm-1 grid-wrap__col-md-land-1 pad-top-24 pad-bottom-24']"))        
        while (fl.length<cnt_uv){
            fl=  await driver.findElements(By.xpath(".//a[@data-ng-click='openDetails(notification)' and @class='grid-wrap__col-lg-1 grid-wrap__col-md-1 grid-wrap__col-sm-1 grid-wrap__col-md-land-1 pad-top-24 pad-bottom-24']"))        
             await driver.sleep(100);
          //  console.log("---ждем..");
        };      
    };    
    
  } finally {    
    console.log("-вот и всё ребята..");
    await driver.quit();
  }
})();
Оставить комментарий , , ,
1 2