Архивы PHP

Распознавание картинки в текст при помощи yandex.cloud

23.10.2024 Павел Грибов PHP

Довелось давече попробовать по распознавать текст при помощи сервиса Vision OCR от Яндекс облако. Результатом родился класс на PHP:

<?php
class TCloud {
    public $token="";
    public $cloud_id="";
    public $folder_id="";
    public $zone="";
    public $iam_token="";
    public $debig=false;
    /**
     * Инициализация класса
     * @param type $token - токен
     * @param type $cloud_id - идентификатор облака
     * @param type $folder_id - идентификатор папки
     * @param type $zone - идентификатор зоны     
     */
    public function __construct($token,$cloud_id,$folder_id,$zone,$debug=false) {
        $this->token=$token;
        $this->cloud_id=$cloud_id;
        $this->folder_id=$folder_id;
        $this->zone=$zone;
        $this->debug=$debug;
    }  
    
    /**
     * Получение IAM токена
     * Подробнее: https://yandex.cloud/ru/docs/iam/operations/iam-token/create#api_1
     * @return bool
     */
    public function GetIAMToken(){
        $ch = curl_init("https://iam.api.cloud.yandex.net/iam/v1/tokens");        
        curl_setopt($ch, CURLOPT_VERBOSE, $this->debug);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);        
        curl_setopt($ch, CURLOPT_POST, 1);   
        $data["yandexPassportOauthToken"]=$this->token;
        curl_setopt( $ch, CURLOPT_POSTFIELDS, json_encode($data));
        
        $res=curl_exec($ch);        
          if (curl_errno($ch)) {
            $error_msg = curl_error($ch);
              var_dump($res);
              var_dump($error_msg);
              return false;
          }                
         $res= json_decode($res);
         if ($res==null){return false;};         
         $this->iam_token=$res->iamToken;         
        return true;
    }
    
    /**
     * Распознать картинку
     * @param type $mimetype - тип входящего файла (JPEG, PNG, PDF)
     * @param type $model - режим распозанвания (page)
     * @param type $content - контент в формате BASE64
     * @param type $languageCodes - языки для распознавания (*), массив
     * Подробнее: https://yandex.cloud/ru/docs/vision/quickstart
     */
    public function OCR($mimetype="JPEG",$model="page",$content,$languageCodes=["*"]){        
        $ch = curl_init("https://ocr.api.cloud.yandex.net/ocr/v1/recognizeText");        
        curl_setopt($ch, CURLOPT_VERBOSE, $this->debug);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
        curl_setopt($ch, CURLOPT_HTTPHEADER, [
            "Content-Type: application/json",
            "Authorization: Bearer ".$this->iam_token,
            "x-folder-id: ".$this->folder_id,
            "x-data-logging-enabled: true"
        ]);        
        $data["mimeType"]=$mimetype;
        $data["languageCodes"]=$languageCodes;
        $data["model"]=$model;
        $data["content"]=$content;
        curl_setopt( $ch, CURLOPT_POSTFIELDS, json_encode($data));
        
        $res=curl_exec($ch);        
          if (curl_errno($ch)) {
            $error_msg = curl_error($ch);
              var_dump($res);
              var_dump($error_msg);
              die();  
          }        
          return $res;
    }
    
}

<?php

class TCloud {

public $token="";

public $cloud_id="";

public $folder_id="";

public $zone="";

public $iam_token="";

public $debig=false;

/**

* Инициализация класса

* @param type $token - токен

* @param type $cloud_id - идентификатор облака

* @param type $folder_id - идентификатор папки

* @param type $zone - идентификатор зоны

public function __construct($token,$cloud_id,$folder_id,$zone,$debug=false) {

$this->token=$token;

$this->cloud_id=$cloud_id;

$this->folder_id=$folder_id;

$this->zone=$zone;

$this->debug=$debug;

}

/**

* Получение IAM токена

* Подробнее: https://yandex.cloud/ru/docs/iam/operations/iam-token/create#api_1

* @return bool

public function GetIAMToken(){

$ch = curl_init("https://iam.api.cloud.yandex.net/iam/v1/tokens");

curl_setopt($ch, CURLOPT_VERBOSE, $this->debug);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

curl_setopt($ch, CURLOPT_POST, 1);

$data["yandexPassportOauthToken"]=$this->token;

curl_setopt( $ch, CURLOPT_POSTFIELDS, json_encode($data));

$res=curl_exec($ch);

if (curl_errno($ch)) {

$error_msg = curl_error($ch);

var_dump($res);

var_dump($error_msg);

return false;

}

$res= json_decode($res);

if ($res==null){return false;};

$this->iam_token=$res->iamToken;

return true;

}

/**

* Распознать картинку

* @param type $mimetype - тип входящего файла (JPEG, PNG, PDF)

* @param type $model - режим распозанвания (page)

* @param type $content - контент в формате BASE64

* @param type $languageCodes - языки для распознавания (*), массив

* Подробнее: https://yandex.cloud/ru/docs/vision/quickstart

public function OCR($mimetype="JPEG",$model="page",$content,$languageCodes=["*"]){

$ch = curl_init("https://ocr.api.cloud.yandex.net/ocr/v1/recognizeText");

curl_setopt($ch, CURLOPT_VERBOSE, $this->debug);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

curl_setopt($ch, CURLOPT_HTTPHEADER, [

"Content-Type: application/json",

"Authorization: Bearer ".$this->iam_token,

"x-folder-id: ".$this->folder_id,

"x-data-logging-enabled: true"

]);

$data["mimeType"]=$mimetype;

$data["languageCodes"]=$languageCodes;

$data["model"]=$model;

$data["content"]=$content;

curl_setopt( $ch, CURLOPT_POSTFIELDS, json_encode($data));

$res=curl_exec($ch);

if (curl_errno($ch)) {

$error_msg = curl_error($ch);

var_dump($res);

var_dump($error_msg);

die();

}

return $res;

}

Результатом возвращается json с блоками распознанного текста/таблиц.

Оставить комментарий Vision OCR, yandex.cloud, распознавание текста

PHP: замена команды Eval

23.10.2024 Павел Грибов PHP

В PHP версиях до 7.1, в некоторых скриптах используется команда Eval, позволяющая выполнить переданный на входе текст, как команду PHP. В последующих версия PHP, данная команда помечена как Deprecated. При апргрейде, соответственно часть скриптов перестают работать. Вот моё решение по замене:

function eval($str){
 file_put_content("tmp.php",$str);
 include 'tmp.php';
}

function eval($str){

file_put_content("tmp.php",$str);

include 'tmp.php';

}

P.S. Совсем если честно не понял зачем было удалять эту команду из за «безопасности», если тому кому нужно вполне заменят её подобным костылём как у меня. Моё мнение: любое обновление не должно ломать старый код, исключения — крайние случаи. Этот случай явно не крайний.

Оставить комментарий Deprecated, eval, замена

Установка PHP 7.4 на RedOS 8.0

17.07.2024 Павел Грибов Linux, PHP

Ситуация: после обновления с RedOS 7.3 до RedOS 8.0, обновился и интерпретатор PHP с 7.4. до 8.1, что к сожалению сломало работу сайта на Bitrix. Нужна установка PHP 7.4 на RedOS 8.0

Задача: сделать даунгрейд PHP 8.1 на PHP 7.4

Решение: Штатным образом в RedOS 8.0 отсутствует возможность установки PHP 7.4, Но! так как RedOS по сути своей совместим с RedHat/CentOS, значит возможно использовать сторонние репозитарии http://rpms.remirepo.net.

Создадим в папке /etc/yum.repos.d файл remi.repo с содержимым:

# Repository: http://rpms.remirepo.net/
# Blog:       http://blog.remirepo.net/
# Forum:      http://forum.remirepo.net/

[remi]
name=Remi's RPM repository for Enterprise Linux 7 - $basearch
mirrorlist=http://cdn.remirepo.net/enterprise/7/remi/mirror
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-remi

# Repository: http://rpms.remirepo.net/

# Blog: http://blog.remirepo.net/

# Forum: http://forum.remirepo.net/

[remi]

name=Remi's RPM repository for Enterprise Linux 7 - $basearch

mirrorlist=http://cdn.remirepo.net/enterprise/7/remi/mirror

enabled=1

gpgcheck=0

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-remi

И файл remi-php74.repo:

# This repository only provides PHP 7.4 and its extensions
# NOTICE: common dependencies are in "remi-safe"

[remi-php74]
name=Remi's PHP 7.4 RPM repository for Enterprise Linux 7 - $basearch
baseurl=http://rpms.remirepo.net/enterprise/7/php74/$basearch/
enabled=1
gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-remi

# This repository only provides PHP 7.4 and its extensions

# NOTICE: common dependencies are in "remi-safe"

[remi-php74]

name=Remi's PHP 7.4 RPM repository for Enterprise Linux 7 - $basearch

baseurl=http://rpms.remirepo.net/enterprise/7/php74/$basearch/

enabled=1

gpgcheck=0

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-remi

После чего останется удалить php8:

dnf remove php php-common

1	dnf remove php php-common

И установить взамен php 7.4:

dnf install -y php74-php php74-php-gd php74-php-fpm php74-php-pdo php74-php-json php74-php-imap php74-php-intl php74-php-json php74-php-soap php74-php-bcmath php74-php-xmlrpc php74-php-mysqlnd php74-php-mbstring php74-php-zip
dnf install php74-php-fpm
systemctl enable php74-php-fpm
systemctl start php74-php-fpm
systemctl restart httpd

dnf install -y php74-php php74-php-gd php74-php-fpm php74-php-pdo php74-php-json php74-php-imap php74-php-intl php74-php-json php74-php-soap php74-php-bcmath php74-php-xmlrpc php74-php-mysqlnd php74-php-mbstring php74-php-zip

dnf install php74-php-fpm

systemctl enable php74-php-fpm

systemctl start php74-php-fpm

systemctl restart httpd

После чего можно увидеть результат:

Оставить комментарий php 7.4, RedOS 8.0

Таблица в массив на php

27.06.2024 Павел Грибов PHP

Задача: Есть некая очень захламленная сторонними элементами страница в разметке html. Необходимо преобразовать находящуюся на ней таблица в массив данных.

Решение: сначала вычленим «грязное» содержимое таблицы между тегами <tbody></tbody>, затем преобразуем его в DOM документ, а далее уже распарсим его обходами и разложим элементы в массив.

Получилось что-то вроде:

 //вычленяю таблицу
        $t1=explode("<tbody>",$res);
        $t2=explode("</tbody>",$t1[1]);
        $tbody="<html><head><meta charset='UTF-8'></head><body><table><tbody>".$t2[0]."</tbody></table></body></html>";
        
        $mass=[];
        $dom = new domDocument('1.0', 'utf-8'); 
        @$dom->loadHTML($tbody);         
        $tables= $dom->getElementsByTagName('table');
        foreach ($tables as $table) {
            $trs= $table->getElementsByTagName('tr');
            foreach ($trs as $tr) {
                $tds=$tr->getElementsByTagName('td');
                $info=[];
                foreach ($tds as $td) {                    
                    $info[]=$td->textContent;
                };
                $mass[]=$info;
            }
        }

//вычленяю таблицу

$t1=explode("<tbody>",$res);

$t2=explode("</tbody>",$t1[1]);

$tbody="<html><head><meta charset='UTF-8'></head><body><table><tbody>".$t2[0]."</tbody></table></body></html>";

$mass=[];

$dom = new domDocument('1.0', 'utf-8');

@$dom->loadHTML($tbody);

$tables= $dom->getElementsByTagName('table');

foreach ($tables as $table) {

$trs= $table->getElementsByTagName('tr');

foreach ($trs as $tr) {

$tds=$tr->getElementsByTagName('td');

$info=[];

foreach ($tds as $td) {

$info[]=$td->textContent;

};

$mass[]=$info;

}

Оставить комментарий html, php, таблица в массив

Bitrix: Request is not XHR

27.06.2024 Павел Грибов bitrix, PHP

В одном из проектов, скрипт парсит сайт на bitrix. С какого то момента, при установке параметров таблицы отдаваемой по ajax, стала выводиться ошибка «Request is not XHR». Быстрый гуглинг решения не дал. Стал кропотливо сравнивать заголовки которые отдаются запросом в браузере и заголовки который отдавал в скрипте. Отличие нашлось относительно быстро, страница на сайте добавляла дополнительный заголовок «Bx-ajax:true». В результате модифицировал скрипт следующим образом:

        $custom_header=[];
        $custom_header[]="Access-Control-Allow-Origin: *";
        $custom_header[]="Accept: */*";
        $custom_header[]="Bx-ajax:true";
        $res=$this->request("/bitrix/components/bitrix/main.ui.grid/settings.ajax.php?GRID_ID=".$grid_id."&bxajaxid=".$bxajaxid."&action=setSort",$param,"POST",true,$custom_header);        
        var_dump($res);

$custom_header=[];

$custom_header[]="Access-Control-Allow-Origin: *";

$custom_header[]="Accept: */*";

$custom_header[]="Bx-ajax:true";

$res=$this->request("/bitrix/components/bitrix/main.ui.grid/settings.ajax.php?GRID_ID=".$grid_id."&bxajaxid=".$bxajaxid."&action=setSort",$param,"POST",true,$custom_header);

var_dump($res);

Сама функция запроса уже устоялась, и при таскании из скрипта в скрипт у меня выглядит так::

 public function request($query,$param,$type="POST",$headers=false,$custom_header=[],$follow_location=true) {
        $url=$this->url.$query;
        if ($this->debug==true){echo "URL:$url\n";};
        $ch = curl_init($url);        
        curl_setopt($ch, CURLOPT_VERBOSE, $this->debug);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
        curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
        curl_setopt($ch, CURLOPT_FOLLOWLOCATION, $follow_location); 
        if ($headers==true){
            curl_setopt($ch, CURLOPT_HEADER, 1);
        };
        if ($type=="POST"){
            curl_setopt($ch, CURLOPT_POST, 1);        
            curl_setopt($ch, CURLOPT_POSTFIELDS, $param);
            if ($this->debug==true){
                echo "---------------- POST -------------\n";
                var_dump($param);
                echo "-----------------------------------\n";
            };
        };        
        if (count($custom_header)>0){          
          curl_setopt($ch, CURLOPT_HTTPHEADER, $custom_header);  
          if ($this->debug==true){
            echo "---------------- HEADER -------------\n";            
            var_dump($custom_header);
            echo "-----------------------------------\n";
          };
        };
        if (count($this->cookies)>0){
            $str_cook="";
            foreach ($this->cookies as $key=>$value) {
             $str_cook=$str_cook.$key."=".$value.";";   
            };
            if ($this->debug==true){
                echo "COOKIE:$str_cook\n";  
            };

            curl_setopt($ch, CURLOPT_COOKIE,$str_cook);               
        };
        
        $res=curl_exec($ch);        
          if (curl_errno($ch)) {
            $error_msg = curl_error($ch);
            if ($this->debug==true){
              var_dump($res);
              var_dump($error_msg);
              die();  
            };
          };  
        if ($this->debug==true){
                echo "---------------- РЕЗУЛЬТАТ -------------\n";
                var_dump($res);
                echo "-------------------------- -------------\n";
        };          
        return $res;
    }

public function request($query,$param,$type="POST",$headers=false,$custom_header=[],$follow_location=true) {

$url=$this->url.$query;

if ($this->debug==true){echo "URL:$url\n";};

$ch = curl_init($url);

curl_setopt($ch, CURLOPT_VERBOSE, $this->debug);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, $follow_location);

if ($headers==true){

curl_setopt($ch, CURLOPT_HEADER, 1);

};

if ($type=="POST"){

curl_setopt($ch, CURLOPT_POST, 1);

curl_setopt($ch, CURLOPT_POSTFIELDS, $param);

if ($this->debug==true){

echo "---------------- POST -------------\n";

var_dump($param);

echo "-----------------------------------\n";

};

if (count($custom_header)>0){

curl_setopt($ch, CURLOPT_HTTPHEADER, $custom_header);

if ($this->debug==true){

echo "---------------- HEADER -------------\n";

var_dump($custom_header);

echo "-----------------------------------\n";

};

if (count($this->cookies)>0){

$str_cook="";

foreach ($this->cookies as $key=>$value) {

$str_cook=$str_cook.$key."=".$value.";";

};

if ($this->debug==true){

echo "COOKIE:$str_cook\n";

};

curl_setopt($ch, CURLOPT_COOKIE,$str_cook);

};

$res=curl_exec($ch);

if (curl_errno($ch)) {

$error_msg = curl_error($ch);

if ($this->debug==true){

var_dump($res);

var_dump($error_msg);

die();

};

if ($this->debug==true){

echo "---------------- РЕЗУЛЬТАТ -------------\n";

var_dump($res);

echo "-------------------------- -------------\n";

};

return $res;

}

Оставить комментарий bitrix, php, Request is not XHR, парсинг

1 2 3 … 26 »

Пн	Вт	Ср	Чт	Пт	Сб	Вс
				1	2	3
4	5	6	7	8	9	10
11	12	13	14	15	16	17
18	19	20	21	22	23	24
25	26	27	28	29	30