Архивы php - Страница 4 из 22

Быстрый поиск разницы файлов

02.08.2023 Павел Грибов PHP

Ну собственно это история одной маленькой победы, которые происходят обычно у ИТишников каждый день 😉

Предыстория: при работе скрипта по заливке данных в БД из файла произошло зависание сервера. Скрипт работал в несколько потоков с одним файлом. Потому определить на каком именно месте файла произошла остановка не представлялось возможным. Удалять уже залитое в БД и стартовать скрипт заново — не вариант, скрипт и так работал двое суток, и терять их снова — ну так себе решение.

Решение №1. «В лоб». Ну думаю доработаю скрипт так, что если данные уже есть, то просто пропускаем. Т.е. перед вставкой выполняем проверку функцией вида:

function lsYet($period,$ls){
    global $db;
  $res=false;
  $sql="select posting_addresses.id from posting_addresses
    inner join ls on ls.id=posting_addresses.ls
    where 
    posting_addresses.period='$period' and ls.ls='$ls'";
    $query = $db->connection->prepare($sql);
    $query->execute();
    while ($row99 = $query->fetch()) {
      $res=true;
    };        
 return $res;
}

function lsYet($period,$ls){

global $db;

$res=false;

$sql="select posting_addresses.id from posting_addresses

inner join ls on ls.id=posting_addresses.ls

where

posting_addresses.period='$period' and ls.ls='$ls'";

$query = $db->connection->prepare($sql);

$query->execute();

while ($row99 = $query->fetch()) {

$res=true;

};

return $res;

}

И без проблем дозальем то, чего нет в БД. Да не тут то было, оказывается операция select в этом случае весьма дорогостоящая, и т.к. в БД записей порядка 600тыс, и индексы проставлены на ls и period корректно, но всёж скорость проверки крайне низкая, и т.о. скорость «дозалития» сокращается с двух суток до суток. Ну что собственно не устраивает.

Решение №2. Вдумчивое. Решил было выгрузить ключевые строки (лицевой счет) в файлы: файл ls_in_base.txt — лицевые счета которые уже в БД и ls_all.txt — файл со всеми лицевыми счетами, которые должны быть в БД, отсортировав их командой sort:

sort ls_in_base.txt > ls_in_base.txt
sort ls_all.txt > ls_all.txt

1 2	sort ls_in_base.txt > ls_in_base.txt sort ls_all.txt > ls_all.txt

Далее воспользуемся Linux командой comm, вычленив уникальные записи файла ls_all которые не содержаться в файле ls_in_base:

comm -23 ls_all.txt ls_in_base.txt > no_in_base.txt

1	comm -23 ls_all.txt ls_in_base.txt > no_in_base.txt

И далее уже в скрипте вместо проверки наличия лс в БД при помощи запроса, проверяем наличие лс в БД при помощи in_array:

$no_in_base_ls=file_get_contents("no_in_base.txt");
$no_in_base_arr=explode("\n",$no_in_base_ls);
...
if (in_array($ls, $no_in_base_arr)==true){
...
заливаем данные в БД
...
}

$no_in_base_ls=file_get_contents("no_in_base.txt");

$no_in_base_arr=explode("\n",$no_in_base_ls);

...

if (in_array($ls, $no_in_base_arr)==true){

...

заливаем данные в БД

...

}

В результате скорость увеличилась в разы, и БД дозалить удалось в течении часа

Оставить комментарий pgsql, php

PHP: нормализация номера телефона

10.07.2023 Павел Грибов PHP

Задача: на входе строка, которая может содержать номер, или номер + какие то комментарии к нему. Необходимо нормализовать номер, что бы были только цифры.

Решение:

Сначала напишем функцию проверки наличия букв в строке:

function LeetterYet($mobile){
    $yet=false;            
        if (preg_match('/[а-яё]/iu',    $mobile)) {$yet=true;};    // символ ё, отдельно проверяем
        if (preg_match('/[a-zA-Z]/',    $mobile)) {$yet=true;};    // английский алфавит
        if (preg_match('/[^a-zA-Z\d]/',    $mobile)) {$yet=true;}; // специальные символы
    return $yet;
}

function LeetterYet($mobile){

$yet=false;

if (preg_match('/[а-яё]/iu', $mobile)) {$yet=true;}; // символ ё, отдельно проверяем

if (preg_match('/[a-zA-Z]/', $mobile)) {$yet=true;}; // английский алфавит

if (preg_match('/[^a-zA-Z\d]/', $mobile)) {$yet=true;}; // специальные символы

return $yet;

}

Далее, если есть буквы, то удалим их, и ограничим длинну поля 11 символами..

function NormalizeMobile($mobile){
  $mobile=preg_replace('/[^0-9]/', '', $mobile);
  $mobile = substr($mobile, 0,11);
  return $mobile;
};

function NormalizeMobile($mobile){

$mobile=preg_replace('/[^0-9]/', '', $mobile);

$mobile = substr($mobile, 0,11);

return $mobile;

};

И общий результат:

        $mobile=$res->result->mobile;            
        if (LeetterYet($mobile)==false){                
          $mobile=  NormalizeMobile($mobile);
        };

$mobile=$res->result->mobile;

if (LeetterYet($mobile)==false){

$mobile= NormalizeMobile($mobile);

};

Оставить комментарий php, нормализация телефона

Linux: цветной вывод в консоль

23.05.2023 Павел Грибов Linux

Иногда бывает полезно вывод в консоль скриптов чуть «раскрасить», чтобы более наглядно акцентировать внимание пользователя на как-то детали. Для того чтобы вывести текст цветным, необходимо применять специальные наборы спецсимволов. Цвет включается по принципу «реле», т.е. цвет нужно включить, а затем выключить.

Цвет	Основной	Фон
Стандартный	\033[39m	\033[49m
Чёрный	\033[30m	\033[40m
Тёмно-красный	\033[31m	\033[41m
Тёмно-зелёный	\033[32m	\033[42m
Тёмно-жёлтый «Оранжевый»	\033[33m	\033[43m
Тёмно-синий	\033[34m	\033[44m
Темно-пурпурный	\033[35m	\033[45m
Тёмно-голубой	\033[36m	\033[46m
Светло-серый	\033[37m	\033[47m
Тёмно-серый	\033[90m	\033[100m
Красный	\033[91m	\033[101m
Зелёный	\033[92m	\033[101m
Оранжевый	\033[93m	\033[103m
Синий	\033[94m	\033[104m
Пурпурный	\033[95m	\033[105m
Голубой	\033[96m	\033[106m
Белый	\033[97m	\033[107m
Сброс цвета	\033[0m	\033[0m

Таблица цветов

Например выведем текст зеленым цветом на PHP:

<?php
echo "###############################################################\n";
echo "\033[;32mЯ весь\033[0m зелёный";
echo "###############################################################\n";
?>

<?php

echo "###############################################################\n";

echo "\033[;32mЯ весь\033[0m зелёный";

echo "###############################################################\n";

Результат работы скрипта:

Оставить комментарий color, linux, php, terminal, цветной вывод

Получение геокординат по адресу

16.05.2023 Павел Грибов PHP

Задача: получить координаты по известному адресу

Решение: воспользуемся API Яндекс.Карты по геокодированию. К сожалению бесплатная версия ограничена 1000 запросов в сутки. Но это обходимо возможностью «растягивать» во времени заполнение БД


            $address= urlencode($maddress->address);
            $rul="https://geocode-maps.yandex.ru/1.x/?geocode=".$address."&format=json&results=1&apikey=".$api_map;
            var_dump($rul);
            $ch = curl_init($rul);        
            curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
            curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
            curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
            curl_setopt($ch, CURLOPT_HTTPHEADER, array('Content-Type: application/json')); 
            $res_curl=json_decode(curl_exec($ch));            
            if ($res_curl!=null){
                if (isset($res_curl->response->GeoObjectCollection->featureMember[0]->GeoObject->Point->pos)){
                 $coors=$res_curl->response->GeoObjectCollection->featureMember[0]->GeoObject->Point->pos;     
                 $coors= explode(" ",$coors);
                 var_dump($coors);
                }              
            };

$address= urlencode($maddress->address);

$rul="https://geocode-maps.yandex.ru/1.x/?geocode=".$address."&format=json&results=1&apikey=".$api_map;

var_dump($rul);

$ch = curl_init($rul);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);

curl_setopt($ch, CURLOPT_HTTPHEADER, array('Content-Type: application/json'));

$res_curl=json_decode(curl_exec($ch));

if ($res_curl!=null){

if (isset($res_curl->response->GeoObjectCollection->featureMember[0]->GeoObject->Point->pos)){

$coors=$res_curl->response->GeoObjectCollection->featureMember[0]->GeoObject->Point->pos;

$coors= explode(" ",$coors);

var_dump($coors);

}

};

Оставить комментарий map, php, yandex, геокодирование

OTP авторизация

27.03.2023 Павел Грибов PHP

Суть в чём: для каждого пользователя хранится некий OTP ключ (соль), на основании которого генерируется некий код, который в один момент времени (плюс-минус 30 секунд) будет одинаковый с ключём сгенерированным сторонним приложением. Естественно этому стороннему приложению сначала необходимо передать ключ.

Соответственно если код сгенерированный при проверке одинаков с ключем сгенерированным приложением, можно считать что идентификация успешно пройдена.

OTP авторизация обычно используется как «дополнительная», т.е. в качестве реализации двухфакторной авторизации.

Соберём класс для генерации кода на основании токена:

class TOTP {

 const keyRegeneration  = 30; // Время действия ключа
 const otpLength  = 6; // длина кода OTP

 private static $lut = array( 
  "A" => 0, "B" => 1,"C" => 2, "D" => 3,"E" => 4, "F" => 5,"G" => 6, "H" => 7,"I" => 8, "J" => 9,"K" => 10, "L" => 11,
  "M" => 12, "N" => 13,"O" => 14, "P" => 15,"Q" => 16, "R" => 17,"S" => 18, "T" => 19,"U" => 20, "V" => 21,"W" => 22, "X" => 23,
  "Y" => 24, "Z" => 25,"2" => 26, "3" => 27,"4" => 28, "5" => 29,"6" => 30, "7" => 31
 );


 /**
 * Возвратим текущее время Unix Timestamp округлённое до времени действия ключа
 * @return integer
 **/
 public static function get_timestamp() {
  return floor( (microtime(true) + 10) /self::keyRegeneration);
 }

 /**
 * Перекодируем строку base32 в бинарный вид
 **/
 public static function base32_decode($b32) {
  $b32  = strtoupper($b32);
  if (!preg_match('/^[ABCDEFGHIJKLMNOPQRSTUVWXYZ234567]+$/', $b32, $match))
   throw new Exception('Используются не верные символы в ключе.');
  $l  = strlen($b32);
  $n = 0;
  $j = 0;
  $binary = "";
  for ($i = 0; $i < $l; $i++) {
   $n = $n << 5;     // Move buffer left by 5 to make room
   $n = $n + self::$lut[$b32[$i]];  // Add value into buffer
   $j = $j + 5;    // Keep track of number of bits in buffer
   if ($j >= 8) {
    $j = $j - 8;
    $binary .= chr(($n & (0xFF << $j)) >> $j);
   }
  }
  return $binary;
 }

 /**
 * Вернём текущий код
 * @param binary $key - бинарный ключ
 * @param integer $counter - Timestamp
 * @return string
 **/
 public static function oath_hotp($key, $counter){
    if (strlen($key) < 8)
      throw new Exception('Секретный ключ слишком мал.Он должен быть больше 16 символов');
    $bin_counter = pack('N*', 0) . pack('N*', $counter);  
    $hash  = hash_hmac ('sha1', $bin_counter, $key, true);
    return str_pad(self::oath_truncate($hash), self::otpLength, '0', STR_PAD_LEFT);
 }

 /**
 * Вычленяет OTP из SHA1 hash.
 * @param binary $hash
 * @return integer
 **/
 public static function oath_truncate($hash){
    $offset = ord($hash[19]) & 0xf;
    return (
        ((ord($hash[$offset+0]) & 0x7f) << 24 ) |
        ((ord($hash[$offset+1]) & 0xff) << 16 ) |
        ((ord($hash[$offset+2]) & 0xff) << 8 ) |
        (ord($hash[$offset+3]) & 0xff)
    ) % pow(10, self::otpLength);
 }
}

class TOTP {

const keyRegeneration = 30; // Время действия ключа

const otpLength = 6; // длина кода OTP

private static $lut = array(

"A" => 0, "B" => 1,"C" => 2, "D" => 3,"E" => 4, "F" => 5,"G" => 6, "H" => 7,"I" => 8, "J" => 9,"K" => 10, "L" => 11,

"M" => 12, "N" => 13,"O" => 14, "P" => 15,"Q" => 16, "R" => 17,"S" => 18, "T" => 19,"U" => 20, "V" => 21,"W" => 22, "X" => 23,

"Y" => 24, "Z" => 25,"2" => 26, "3" => 27,"4" => 28, "5" => 29,"6" => 30, "7" => 31

);

/**

* Возвратим текущее время Unix Timestamp округлённое до времени действия ключа

* @return integer

**/

public static function get_timestamp() {

return floor( (microtime(true) + 10) /self::keyRegeneration);

}

/**

* Перекодируем строку base32 в бинарный вид

**/

public static function base32_decode($b32) {

$b32 = strtoupper($b32);

if (!preg_match('/^[ABCDEFGHIJKLMNOPQRSTUVWXYZ234567]+$/', $b32, $match))

throw new Exception('Используются не верные символы в ключе.');

$l = strlen($b32);

$n = 0;

$j = 0;

$binary = "";

for ($i = 0; $i < $l; $i++) {

$n = $n << 5; // Move buffer left by 5 to make room

$n = $n + self::$lut[$b32[$i]]; // Add value into buffer

$j = $j + 5; // Keep track of number of bits in buffer

if ($j >= 8) {

$j = $j - 8;

$binary .= chr(($n & (0xFF << $j)) >> $j);

}

return $binary;

}

/**

* Вернём текущий код

* @param binary $key - бинарный ключ

* @param integer $counter - Timestamp

* @return string

**/

public static function oath_hotp($key, $counter){

if (strlen($key) < 8)

throw new Exception('Секретный ключ слишком мал.Он должен быть больше 16 символов');

$bin_counter = pack('N*', 0) . pack('N*', $counter);

$hash = hash_hmac ('sha1', $bin_counter, $key, true);

return str_pad(self::oath_truncate($hash), self::otpLength, '0', STR_PAD_LEFT);

}

/**

* Вычленяет OTP из SHA1 hash.

* @param binary $hash

* @return integer

**/

public static function oath_truncate($hash){

$offset = ord($hash[19]) & 0xf;

return (

((ord($hash[$offset+0]) & 0x7f) << 24 ) |

((ord($hash[$offset+1]) & 0xff) << 16 ) |

((ord($hash[$offset+2]) & 0xff) << 8 ) |

(ord($hash[$offset+3]) & 0xff)

) % pow(10, self::otpLength);

}

Использование:

$InitalizationKey = "QWERTYUIOPASDFGH";     // Начальный ключ

$TimeStamp  = TOTP::get_timestamp();
$secretkey   = TOTP::base32_decode($InitalizationKey); // Перекодируем в бинарную строку
$otp         = TOTP::oath_hotp($secretkey, $TimeStamp); // получим текщий токен

echo("Ключ: $InitalizationKey\n");
echo("Timestamp: $TimeStamp\n");
echo("Код OTP: $otp\n");

$InitalizationKey = "QWERTYUIOPASDFGH"; // Начальный ключ

$TimeStamp = TOTP::get_timestamp();

$secretkey = TOTP::base32_decode($InitalizationKey); // Перекодируем в бинарную строку

$otp = TOTP::oath_hotp($secretkey, $TimeStamp); // получим текщий токен

echo("Ключ: $InitalizationKey\n");

echo("Timestamp: $TimeStamp\n");

echo("Код OTP: $otp\n");

Для того чтобы руками не вводить в OTP приложение начальный токен, можно генерировать QR код, с текстом вида:

otpauth://totp/мой_сайт:логин?secret=токен&issuer=логин

Оставить комментарий otp, php, qr, totp, двухфакторая авторизация

« 1 2 3 4 5 6 … 22 »

Декабрь 2024
Пн	Вт	Ср	Чт	Пт	Сб	Вс
						1
2	3	4	5	6	7	8
9	10	11	12	13	14	15
16	17	18	19	20	21	22
23	24	25	26	27	28	29
30	31