Архивы curl

Замена PHP Curl на Wget

05.08.2025 Павел Грибов Из жизни

Так получилось, что иногда пишу парсеры сайтов на PHP. Использую обычный PHP Curl, густо обмазанный различными вспомогательными классами. Всё было хорошо, но однажды один из скриптов перестал работать. Стал разбираться почему — PHP стал падать с ошибкой сегментирования (segmentation fault) при вызове:

$res=curl_exec($ch);

1	$res=curl_exec($ch);

Стал разбираться. Выяснил что перестаёт падать после комментирования строчки:

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);

1	curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);

Явно что-то не так с шифрованием. Вспомнил даже, что нечто подобное уже было. Проверил — точно сайт стал шифроваться по протоколу ГОСТ:

И собственно в тот раз проблема решилась а в этот раз таки уже нет. Когда попробовал добавить ключ с указанием версии шифрования, скрипт стал бесконечно висеть.

curl_setopt ($ch, CURLOPT_SSLVERSION , CURL_SSLVERSION_TLSv1_3);

1	curl_setopt ($ch, CURLOPT_SSLVERSION , CURL_SSLVERSION_TLSv1_3);

И из консоли в том числе:

curl --insecure  --tlsv1.3  'https://кацукацук/'

1	curl --insecure --tlsv1.3 'https://кацукацук/'

Ну ладно. Пойдем другим путём. Проверив как открывается этот-же сайт при помощи wget, и убедившись, что с ним всё хорошо, понял что при помощи его работа в принципе будет даже проще. Всё свелось к комбинации сточек вида (конкретно тут для примера без обработки ошибок):

function reqwest($url,$param){
        $res=`wget --save-cookies cookies.txt --keep-session-cookies --load-cookies cookies.txt '$url' -O tmp.html --post-data '$param' --header 'Content-Type: application/x-www-form-urlencoded; charset=UTF-8'`;        
        $html= file_get_contents("tmp.html");
return $html
}

function reqwest($url,$param){

$res=`wget --save-cookies cookies.txt --keep-session-cookies --load-cookies cookies.txt '$url' -O tmp.html --post-data '$param' --header 'Content-Type: application/x-www-form-urlencoded; charset=UTF-8'`;

$html= file_get_contents("tmp.html");

return $html

}

Оставить комментарий curl, php, segmentation fault, ошибка сегментирования, шифрование ГОСТ

PHP Curl: Segmentation fault

27.12.2024 Павел Грибов PHP

Столкнулся со странной ошибкой на Astra Linux, а именно если вызывать:

curl --insecure 'https://esia.gosuslugi.ru/login/'

1	curl --insecure 'https://esia.gosuslugi.ru/login/'

То получаем ошибку:

Хотя в любом другом дистрибутиве получаю стандартное:

Начал рыть….долго и упорно… искал разницу между установленными версиями curl. И единственное что по большому счёту отличало версию Astra Linux — поддержка сертификатов шифрования ГОСТ. А сайт Госуслуг именно их и использует. Причем шифрование на этом сайте версии 1.3. А что если попробовать принудительно попросить curl именно это шифрование? И в правду заработало:

curl --insecure  --tlsv1.3  'https://esia.gosuslugi.ru/login/'

1	curl --insecure --tlsv1.3 'https://esia.gosuslugi.ru/login/'

На PHP аналог выставления данного флага:

curl_setopt ($ch, CURLOPT_SSLVERSION , CURL_SSLVERSION_TLSv1_3);

1	curl_setopt ($ch, CURLOPT_SSLVERSION , CURL_SSLVERSION_TLSv1_3);

Хотя конечно остаются вопрос, почему просто падает не показывая почему..

Оставить комментарий curl, php, segmentation fault, ошибка сегментирования

PHP: Использование CURL с сертифкатом

07.07.2021 Павел Грибов PHP, WEB

Задача: Некий удаленный ресурс проверяет сертификат пользователя, при попытке получить с него данные. В наличии только стандартные сертификаты выданные LetEncrypt.

Решение:

Сертификаты необходимо сконвертировать. В наличии:

sert.crt — сертификат домена в PEM формате
sert.key — приватный ключ PEM формате

Конвертируем используя промежуточную конвертацию в формат p12:

openssl pkcs12 -export -in sert.crt -inkey sert.key -out sert.p12
openssl pkcs12 -in sert.p12 -nodes -out result.pem

1 2	openssl pkcs12 -export -in sert.crt -inkey sert.key -out sert.p12 openssl pkcs12 -in sert.p12 -nodes -out result.pem

По итогу получили файл result.pem. Далее его и будем использовать при работе с curl:

$ch = curl_init();
                curl_setopt($ch, CURLOPT_URL, "https://некий ресурс");    
                curl_setopt($ch, CURLOPT_SSLCERT, WUO_ROOT."result.pem" );
                curl_setopt($ch,CURLOPT_SSLCERTTYPE,"PEM");
                curl_setopt($ch, CURLOPT_HTTPHEADER, array('Content-Type: application/x-www-form-urlencoded'));
                curl_setopt($ch, CURLOPT_RETURNTRANSFER, True);
                curl_setopt($ch, CURLOPT_POST, True);
                curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
                $post=http_build_query($post, '', '&');
                curl_setopt($ch, CURLOPT_POSTFIELDS, $post);
                curl_setopt($ch, CURLOPT_VERBOSE, true);
                $result = curl_exec($ch);
                curl_close($ch);

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, "https://некий ресурс");

curl_setopt($ch, CURLOPT_SSLCERT, WUO_ROOT."result.pem" );

curl_setopt($ch,CURLOPT_SSLCERTTYPE,"PEM");

curl_setopt($ch, CURLOPT_HTTPHEADER, array('Content-Type: application/x-www-form-urlencoded'));

curl_setopt($ch, CURLOPT_RETURNTRANSFER, True);

curl_setopt($ch, CURLOPT_POST, True);

curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);

$post=http_build_query($post, '', '&');

curl_setopt($ch, CURLOPT_POSTFIELDS, $post);

curl_setopt($ch, CURLOPT_VERBOSE, true);

$result = curl_exec($ch);

curl_close($ch);

Оставить комментарий curl, pem, ssl, сертификат

A PKCS #11 module returned CKR_DEVICE_ERROR, indicating that a problem has occurred with the token or slot.

17.11.2020 Павел Грибов Linux

Ходишь-ходишь в школу, а потом «бац — вторая смена»… Эмм я к тому что в 2020 поймать ошибку 2012 года, помеченную на CentOS как «закрытую».. Да еще и на PHP..

А дело вот в чем. На одном из проектов использую WebSocket сервер WorkMan, который имеет псевдомногопотоковость. Внутри потоков, активно использую вызовы curl_exec. Вот они то и вызывают ошибку «A PKCS #11 module returned CKR_DEVICE_ERROR, indicating that a problem has occurred with the token or slot.«, которая выводится при помощи curl_error. Описание ошибки было еще в далеком 2012 году: https://bugzilla.redhat.com/show_bug.cgi?id=870856

Помечена как «закрытая». А вот и нет.. Хотя на Ubuntu не воспроизводится — только «CentOS Linux release 7.8.2003»

Как лечим:

export NSS_STRICT_NOFORK=DISABLED

1	export NSS_STRICT_NOFORK=DISABLED

Оставить комментарий centos, CKR_DEVICE_ERROR, curl, php

Экранирование специальных символов в curl

14.02.2018 Павел Грибов Linux

Неожиданно подобного вида конструкция вызвала ошибку:

root@ares:~ # /usr/local/bin/curl -k -v --url 'https://dwedwed.do?userName=23уй3уй&password=wdedwe{dwe&orderNumber=00107103933&amount=5100&failUrl=http://edes.tv/client/fail.php&clientId=00107&returnUrl=http://bilewdis.tv/client/payok.php'
curl: (3) [globbing] unmatched brace in column 97
root@ares:~ #

root@ares:~ # /usr/local/bin/curl -k -v --url 'https://dwedwed.do?userName=23уй3уй&password=wdedwe{dwe&orderNumber=00107103933&amount=5100&failUrl=http://edes.tv/client/fail.php&clientId=00107&returnUrl=http://bilewdis.tv/client/payok.php'

curl: (3) [globbing] unmatched brace in column 97

root@ares:~ #

Порыскал в интернетах, ничего толкового не нашел по этой ошибке. А дело в простом — curl не экранирует специальные символы типа {. Чтобы всё работало, нужно добавить перед этим символом \

/usr/local/bin/curl -k -v --url 'https://swedwdded.do?userName=23уй3уй&password=wdedwe\{dwe&orderNumber=00107103933&amount=5100&failUrl=http://edes.tv/client/fail.php&clientId=00107&returnUrl=http://bilewdis.tv/client/payok.php'

1	/usr/local/bin/curl -k -v --url 'https://swedwdded.do?userName=23уй3уй&password=wdedwe\{dwe&orderNumber=00107103933&amount=5100&failUrl=http://edes.tv/client/fail.php&clientId=00107&returnUrl=http://bilewdis.tv/client/payok.php'

Оставить комментарий curl, unmatched brace in column, экранирование

Пн	Вт	Ср	Чт	Пт	Сб	Вс
				1	2	3
4	5	6	7	8	9	10
11	12	13	14	15	16	17
18	19	20	21	22	23	24
25	26	27	28	29	30	31