Метка: selenium

Nodejs: Работа в Selenium с Yandex браузер

WEB

Отличия при работе с Chrome минимальные. Достаточно скачать подходящий драйвер и подключаться подобным образом:

  var service = new chrome.ServiceBuilder(binary_yandex_driver_file).build();
  chrome.setDefaultService(service);
  let driver = await new Builder().forBrowser('chrome').setChromeOptions(chromeOptions).build();
Оставить комментарий , ,

Selenium: Запуск браузера хром в «скрытом» режиме

WEB

Аргумент запуска —headless хоть и работает, но многие сайты к сожалению работают в таком «скрытом» режиме не вполне корректно. Интернет говорит, что скорее всего дело в том, что браузер запускается с не понятным размером окна. Однако принудительное выставление размера, в моём случае не помогло. Решением оказалось запуск браузера «за пределами экрана». А именно что-то вроде:

chromeOptions.addArguments("--window-position=4000,0");
Оставить комментарий , ,

Selenium: дождаться окончания всех закачек в браузере

WEB

К сожалению стандартного API нет для того чтобы получить данные о текущих закачках. Потому как вариант можно отслеживать наличие файлов с расширением crdownload:


save_path="X:\\new\\";

async function sys_sleep(ms) {
  return new Promise((resolve) => {
    setTimeout(resolve, ms);
  });
};

(async () => {
    const fs = require('fs');
    yet=true;
    while (yet==true) {
        console.log("--ждём пока не закончатся все закачки...");
        fs.readdir(save_path, (err, files) => {
          cnt=0;  
          files.forEach(file => {
            console.log(file);
            if (file.indexOf('down')>0){cnt++;};
          });
          if (cnt==0){
            console.log("Дождались..");  
            yet=false; 
          };
        });
         await sys_sleep(1000);
    };
})();
Оставить комментарий , , ,

парсер ГосУслуг

WEB

Задача: выкачать файлы уведомлений от ФССП приходящие для организации.

Почему нет штатного API для получения уведомлений на Госуслугах, вопрос интересный. В результате каждая организация которая в большом объеме работает со службой судебных приставов изобретает свой инструмент для автоматизации получения уведомлений. И я сей чаши не избежал 😉

Решение: напишем парсер на node.js с использование Selenium 2

// Начальные установки..
// количество выгружаемых уведомлений
cnt_uv=100;
// логин для входа в госуслуги
login="+094802к934к"
// пароль для входа 
pass="уамцумцук ";
// путь для сохранения файлов
save_path="c:\\tmp";
// полное название организации
full_name="ОБЩЕСТВО С ОГРАНИЧЕННОЙ ОТВЕТСТВЕННОСТЬЮ «РОГА И КОПЫТА»";

var webdriver = require('selenium-webdriver');

const {Builder, By, Key, until} = require('selenium-webdriver');
(async function example() {

    var chrome = require("selenium-webdriver/chrome");
    var chromeOptions = new chrome.Options();
    chromeOptions.addArguments("test-type");
//    chromeOptions.addArguments("start-maximized");
//    chromeOptions.addArguments("--js-flags=--expose-gc");
//    chromeOptions.addArguments("--enable-precise-memory-info");
  //  chromeOptions.addArguments("--disable-popup-blocking");
 //   chromeOptions.addArguments("--disable-default-apps");
//    chromeOptions.addArguments("--disable-infobars");
    //chromeOptions.addArguments("--user-data-dir=C:\\tmp");
    chromeOptions.addArguments("safebrowsing-disable-download-protection");

    let driver = await new Builder().forBrowser('chrome').setChromeOptions(chromeOptions).build();
    driver.setDownloadPath(save_path);
  try {            
    console.log("-загружаем страницу авторизации");
    await driver.get('https://lk.gosuslugi.ru');
    console.log("--ok");
    console.log("-ждем отрисовки");   
    elm= await driver.wait(until.elementLocated(By.xpath(".//button[@id='loginByPwdButton']"), 30000));            
    console.log("--ok");
    console.log("-вставляем логин пароль и кликаем Enter");   
    await driver.findElement(By.id('login')).sendKeys(login,Key.TAB,pass,Key.RETURN);
    console.log("--ok");
    console.log("--ok");
    console.log("-ищем full_name и кликаем по ней");   
         elm= await driver.wait(until.elementLocated(By.xpath(".//div[@title='"+full_name+"']"), 30000));        
         await driver.executeScript("arguments[0].click();", elm);        
    console.log("--ok");
    console.log("-ждем пока не будет перехода на нужную страницу");           
    ccurl="";
    while (ccurl!=="https://lk.gosuslugi.ru/info"){
        await driver.getCurrentUrl().then(
                url => {console.log('current url: "' + url + '"');ccurl=url;}
        );
        await driver.sleep(100);
    };
    //elm= await driver.wait(until.elementLocated(By.xpath(".//a[@data-ng-href='https://esia.gosuslugi.ru/profile/org/org.xhtml?orgOid=1087125902']"), 30000));            
    //await driver.sleep(2000) 
    console.log("--ok");
    console.log("-идём на страницу уведомлений");   
    for (var i = 1; i < cnt_uv; i++) {
        await driver.get("https://lk.gosuslugi.ru/notifications")
        //console.log("--ok");        
        //console.log("-загружаю "+cnt_uv+" сообщений");           
        await GetNotifications(driver,cnt_uv);         
        //console.log("--ok");        
        //console.log("-кликаю по первому уведомлению и сохраняю файлы");           
        await UvedOpen(i);
        console.log("--ok сохранен файл " +i+" из "+cnt_uv);            
    };
            
    async function UvedOpen(n){
        fl=await driver.findElements(By.xpath(".//a[@data-ng-click='openDetails(notification)' and @class='grid-wrap__col-lg-1 grid-wrap__col-md-1 grid-wrap__col-sm-1 grid-wrap__col-md-land-1 pad-top-24 pad-bottom-24']"))        
         await driver.executeScript("arguments[0].scrollIntoView()", fl[n]);
         await driver.executeScript("arguments[0].click();", fl[n]);                
         elm= await driver.wait(until.elementLocated(By.linkText('Сохранить'), 30000));        
         //await driver.executeScript("arguments[0].click();", elm);
         elm=await driver.findElements(By.linkText('Сохранить'));
         elm[0].click();
         elm[1].click();  
         await driver.sleep(1000);
    }
    async function GetNotifications(driver,cnt){ 
        for (var i = 0; i < cnt/10; i++) {
            pp=((i+1)*10);
            //console.log("----ждем появления кнопки 'Показать еще ("+pp+")'");        
             elm= await driver.wait(until.elementLocated(By.linkText('Показать еще'), 30000));        
            //console.log("----ok");
            //console.log("-нажимаю кнопку 'Показать еще'");       
               await driver.executeScript("arguments[0].scrollIntoView()", elm);
               await driver.executeScript("arguments[0].click();", elm);
            //console.log("--ok");
        };     
        //console.log("-ждем полной прогрузки страницы");       
        fl=  await driver.findElements(By.xpath(".//a[@data-ng-click='openDetails(notification)' and @class='grid-wrap__col-lg-1 grid-wrap__col-md-1 grid-wrap__col-sm-1 grid-wrap__col-md-land-1 pad-top-24 pad-bottom-24']"))        
        while (fl.length<cnt_uv){
            fl=  await driver.findElements(By.xpath(".//a[@data-ng-click='openDetails(notification)' and @class='grid-wrap__col-lg-1 grid-wrap__col-md-1 grid-wrap__col-sm-1 grid-wrap__col-md-land-1 pad-top-24 pad-bottom-24']"))        
             await driver.sleep(100);
          //  console.log("---ждем..");
        };      
    };    
    
  } finally {    
    console.log("-вот и всё ребята..");
    await driver.quit();
  }
})();
Оставить комментарий , , ,