Август 2019

Пачкой обновляем сертификаты SSL на сервере

28.08.2019 Павел Грибов Linux, WEB

Как известно сертификаты LetsEncrypt живут только 3 месяца, и соответственно их нужно регулярно обновлять. Самый хороший и простой способ обновления сертификатов — по записи DNS, однако это подходит не всем. Обновление же сертификата записью файла в «корне» сайта тоже не всегда работает по разным причинам. Выходом может стать следующий «финт ушами»: создаем альтернативный файл виртуальных хостов (рассматриваю вариант с apache, nginx практически не использую), который используется исключительно под получение сертификатов. Т.е. логика следующая: скрипт «подменяет» файл с виртуальными хостами на временный «облегченный», apache перестартовываем, спокойно обновляем сертификаты, затем возвращаем оригинальный файл с виртуальными хостами и снова перестартовываем apache. Особенностью «временного» файла является то что задана единая точка хранения файлов которые требуется создать для обновления сертификатов.

Итак получается скрипт обновления, что-то вроде:

«Временный» файл хостов:

<VirtualHost *:80>
    ServerAdmin pawfvwervwe@mail.ru
    DocumentRoot "/usr/local/www/apache24/sites/lets"
    ServerName ewfer.tv
    ServerAlias www.werfer.tv wer.ru werf.ru rwefwerf.ru # перечисляем все домены которые нужно обновить
    <Directory "/usr/local/www/apache24/sites/lets">
    Options Indexes FollowSymLinks MultiViews
        AllowOverride All
    allow from all
    Require all granted	
    </Directory>    
</VirtualHost>

ServerAdmin pawfvwervwe@mail.ru

DocumentRoot "/usr/local/www/apache24/sites/lets"

ServerName ewfer.tv

ServerAlias www.werfer.tv wer.ru werf.ru rwefwerf.ru # перечисляем все домены которые нужно обновить

Options Indexes FollowSymLinks MultiViews

AllowOverride All

allow from all

Require all granted

</Directory>

</VirtualHost>

bash скрипт обновления:

#!/bin/sh
echo "- Подменяю текущий конфиг виртуальных хостов apache"
cp /usr/local/etc/apache24/extra/httpd-vhosts.conf /usr/local/etc/apache24/extra/httpd-vhosts.conf.backup
cp /usr/local/etc/apache24/extra/httpd-vhosts.conf.lets /usr/local/etc/apache24/extra/httpd-vhosts.conf
/usr/local/etc/rc.d/apache24 restart
echo "- Получаю сертификаты"
certbot certonly --agree-tos --email rfer@mail.ru --webroot -w /usr/local/www/apache24/sites/lets/ -d refwer.tv
certbot certonly --agree-tos --email erferf@mail.ru --webroot -w /usr/local/www/apache24/sites/lets/ -d www.ewferf.tv
echo " - Возвращаю конфигурацию виртуальных хостов как было"
cp /usr/local/etc/apache24/extra/httpd-vhosts.conf.backup /usr/local/etc/apache24/extra/httpd-vhosts.conf
/usr/local/etc/rc.d/apache24 restart

#!/bin/sh

echo "- Подменяю текущий конфиг виртуальных хостов apache"

cp /usr/local/etc/apache24/extra/httpd-vhosts.conf /usr/local/etc/apache24/extra/httpd-vhosts.conf.backup

cp /usr/local/etc/apache24/extra/httpd-vhosts.conf.lets /usr/local/etc/apache24/extra/httpd-vhosts.conf

/usr/local/etc/rc.d/apache24 restart

echo "- Получаю сертификаты"

certbot certonly --agree-tos --email rfer@mail.ru --webroot -w /usr/local/www/apache24/sites/lets/ -d refwer.tv

certbot certonly --agree-tos --email erferf@mail.ru --webroot -w /usr/local/www/apache24/sites/lets/ -d www.ewferf.tv

echo " - Возвращаю конфигурацию виртуальных хостов как было"

cp /usr/local/etc/apache24/extra/httpd-vhosts.conf.backup /usr/local/etc/apache24/extra/httpd-vhosts.conf

/usr/local/etc/rc.d/apache24 restart

Да, при таком способе получается некий простой в работе сайтов. Но раз в 3 месяца, ночью это для меня приемлимый вариант.

Оставить комментарий certbot, LetsEncrypt, автопродление, сертификаты

Как сделать простейшее API для своего проекта?

22.08.2019 Павел Грибов PHP

Бывает, что какой-то проект «вырастает из штанишек» и становится необходимым разработать сервис который будет отдавать часть своих данных, по запросу на сторонние сервера. Вот и меня возникла такая необходимость .Вот каркас, с чего начать.

В моем случае сервер защищен от «чужих» протоколом SSL и сертификатом .p12 с паролем. Соответственно для получения данных по API на сторонних ресурсах необходимы будут pem и key файлы от выданного пользователю сертификата.

Для некоторых может быть удобным получение «сессионного ключа» для авторизации и допуска к API. В принципе доработать не сложно кому нужно. Приведенные ниже примеры — не рабочие, не хватает части файлов, размещено просто для того чтобы можно было понять принцип разработки.

На сервере в корне создадим файл api.php:

<?php

/* 
 * (с) 2011-2019 Грибов Павел
 * http://грибовы.рф * 
 * Если исходный код найден в сети - значит лицензия GPL v.3 * 
 * В противном случае - код собственность ГК Яртелесервис, Мультистрим, Телесервис, Телесервис плюс * 
 */

/* Этот файл - API для получения из NOC различных данных в формате json
 * вход: post/get с заполненым параметром command (массив)
 * выход: json с результатом
 */

$version="1.0.0";


define('WUO_ROOT', dirname(__FILE__));

// Загружаем первоначальные настройки. Если не получилось - выходим
$rez = @include_once(WUO_ROOT.'/config.php');
if ($rez == false) {die();}

header('Content-Type: application/json; charset=utf-8');


// Загружаем классы
include_once(WUO_ROOT.'/class/sql.php'); // Класс работы с БД
include_once(WUO_ROOT.'/class/config.php'); // Класс настроек
include_once(WUO_ROOT.'/inc/connect.php'); // Соединяемся с БД, получаем $mysql_base_id
include_once(WUO_ROOT.'/inc/config.php'); // Подгружаем настройки из БД, получаем заполненый класс $cfg
include_once(WUO_ROOT.'/inc/functions.php'); // Загружаем функции

$command=_GET("command");
if ($command==""){
    $command=_POST("command");
};
if ($command!=""){
	if (is_file(WUO_ROOT."/api/".$command.".php")) {
		include_once(WUO_ROOT."/api/".$command.".php");
	} else {
            $ret["result"]=false;
            $ret["message"]="Метод/команда не найдена";
            die(json_encode($ret));
	}    
} else {
  $ret["result"]=false;
  $ret["message"]="Метод/команда не задан";
  die(json_encode($ret));
};

?>

<?php

* (с) 2011-2019 Грибов Павел

* http://грибовы.рф *

* Если исходный код найден в сети - значит лицензия GPL v.3 *

* В противном случае - код собственность ГК Яртелесервис, Мультистрим, Телесервис, Телесервис плюс *

/* Этот файл - API для получения из NOC различных данных в формате json

* вход: post/get с заполненым параметром command (массив)

* выход: json с результатом

$version="1.0.0";

define('WUO_ROOT', dirname(__FILE__));

// Загружаем первоначальные настройки. Если не получилось - выходим

$rez = @include_once(WUO_ROOT.'/config.php');

if ($rez == false) {die();}

header('Content-Type: application/json; charset=utf-8');

// Загружаем классы

include_once(WUO_ROOT.'/class/sql.php'); // Класс работы с БД

include_once(WUO_ROOT.'/class/config.php'); // Класс настроек

include_once(WUO_ROOT.'/inc/connect.php'); // Соединяемся с БД, получаем $mysql_base_id

include_once(WUO_ROOT.'/inc/config.php'); // Подгружаем настройки из БД, получаем заполненый класс $cfg

include_once(WUO_ROOT.'/inc/functions.php'); // Загружаем функции

$command=_GET("command");

if ($command==""){

$command=_POST("command");

};

if ($command!=""){

if (is_file(WUO_ROOT."/api/".$command.".php")) {

include_once(WUO_ROOT."/api/".$command.".php");

} else {

$ret["result"]=false;

$ret["message"]="Метод/команда не найдена";

die(json_encode($ret));

}

} else {

$ret["result"]=false;

$ret["message"]="Метод/команда не задан";

die(json_encode($ret));

};

Как мы видим — суть его, поймать на входе команду, и выполнить файл из папки /api/, совпадающий с именем команды. Так мы избавляемся от головной боли с раширением количества команд API.

В папке /api/ создадим первую команду нашего API — файл version:

<?php

  $ret["result"]=true;
  $ret["message"]="$version";
  die(json_encode($ret));
  
  ?>

<?php

$ret["result"]=true;

$ret["message"]="$version";

die(json_encode($ret));

Теперь пример использования данного API (для удобства обернуто в класс):

<?php

class NocApi {    
    var $curl_opts = array(
        CURLOPT_URL=>"https://куц.укамцук.ru/api.php",
        CURLOPT_RETURNTRANSFER => true, 
        CURLOPT_SSL_VERIFYPEER => false, // вход по SSL
        CURLOPT_SSL_VERIFYHOST => false,
        CURLOPT_FOLLOWLOCATION => false, // редиректы
        CURLOPT_MAXREDIRS => 10, // максимальное количество редиректов
        CURLOPT_CONNECTTIMEOUT=>5,
        CURLOPT_CONNECTTIMEOUT=>5,
        CURLOPT_VERBOSE=>true,
        CURLOPT_SSLCERT=>"/home/уцм/укм/cert/укмцу.crt",
        CURLOPT_SSLKEY=>"/home/уцкму/цукм/cert/цукм.key",
        CURLOPT_SSLKEYPASSWD=>"123",
        CURLOPT_POST=>true,
        CURLOPT_POSTFIELDS=>"command=version"
    );
    
    public function __construct(){
        if (! function_exists('curl_init')) {
            throw new Exception('CURL модуль для PHP не установлен!');
        }
    }
    public function Exec($runc=""){
        $curl = curl_init();        
        foreach ($this->curl_opts as $opt => $val){
            curl_setopt($curl, $opt, $val);        
        };
        if ($runc!=""){
          curl_setopt($curl, CURLOPT_POSTFIELDS, $runc);  
        };
        $data = curl_exec($curl);
        if (curl_errno($curl)) {
              $ret["result"]=false;
              $ret["message"]=curl_error($curl);
              die(json_encode($ret));            
        } else {
            return json_decode($data);
            curl_close($curl);
        };
    }
    
}

$noc=new NocApi();
$res=$noc->Exec("command=version");
var_dump($res);

<?php

class NocApi {

var $curl_opts = array(

CURLOPT_URL=>"https://куц.укамцук.ru/api.php",

CURLOPT_RETURNTRANSFER => true,

CURLOPT_SSL_VERIFYPEER => false, // вход по SSL

CURLOPT_SSL_VERIFYHOST => false,

CURLOPT_FOLLOWLOCATION => false, // редиректы

CURLOPT_MAXREDIRS => 10, // максимальное количество редиректов

CURLOPT_CONNECTTIMEOUT=>5,

CURLOPT_VERBOSE=>true,

CURLOPT_SSLCERT=>"/home/уцм/укм/cert/укмцу.crt",

CURLOPT_SSLKEY=>"/home/уцкму/цукм/cert/цукм.key",

CURLOPT_SSLKEYPASSWD=>"123",

CURLOPT_POST=>true,

CURLOPT_POSTFIELDS=>"command=version"

);

public function __construct(){

if (! function_exists('curl_init')) {

throw new Exception('CURL модуль для PHP не установлен!');

}

public function Exec($runc=""){

$curl = curl_init();

foreach ($this->curl_opts as $opt => $val){

curl_setopt($curl, $opt, $val);

};

if ($runc!=""){

curl_setopt($curl, CURLOPT_POSTFIELDS, $runc);

};

$data = curl_exec($curl);

if (curl_errno($curl)) {

$ret["result"]=false;

$ret["message"]=curl_error($curl);

die(json_encode($ret));

} else {

return json_decode($data);

curl_close($curl);

};

}

$noc=new NocApi();

$res=$noc->Exec("command=version");

var_dump($res);

Результат выполнения:

object(stdClass)#2 (2) { ["result"]=> bool(true) ["message"]=> string(5) "1.0.0" }

1	object(stdClass)#2 (2) { ["result"]=> bool(true) ["message"]=> string(5) "1.0.0" }

Оставить комментарий api, php, своё

Включаем поддержку SSL в Postfix, FreeBSD 10.x

20.08.2019 Павел Грибов Linux

Предыдущий пост (включение подписи DKIM) не помог избавиться от попадания в папку СПАМ на ящиках gmail, поэтому следующим этапом попробуем включение принудительного шифрования писем SSL на домене.

Сначала сделаем самоподписный сертификат:

openssl req -new -nodes -x509 -out /usr/local/etc/postfix/smtpd.pem -keyout /usr/local/etc/postfix/smtpd.pem -days 3650

1	openssl req -new -nodes -x509 -out /usr/local/etc/postfix/smtpd.pem -keyout /usr/local/etc/postfix/smtpd.pem -days 3650

Добавляем в Postfix поддержку SSL:

mcedit /usr/local/etc/postfix/main.cf

1	mcedit /usr/local/etc/postfix/main.cf

smtp_use_tls = yes
smtpd_use_tls = yes
smtpd_tls_auth_only = yes
smtp_tls_note_starttls_offer = yes
smtpd_tls_key_file = /usr/local/etc/postfix/smtpd.pem
smtpd_tls_cert_file = /usr/local/etc/postfix/smtpd.pem
smtpd_tls_CAfile = /usr/local/etc/postfix/smtpd.pem
smtpd_tls_loglevel = 1
smtpd_tls_received_header = yes
smtpd_tls_session_cache_timeout = 3600s
tls_random_source = dev:/dev/urandom

smtp_use_tls = yes

smtpd_use_tls = yes

smtpd_tls_auth_only = yes

smtp_tls_note_starttls_offer = yes

smtpd_tls_key_file = /usr/local/etc/postfix/smtpd.pem

smtpd_tls_cert_file = /usr/local/etc/postfix/smtpd.pem

smtpd_tls_CAfile = /usr/local/etc/postfix/smtpd.pem

smtpd_tls_loglevel = 1

smtpd_tls_received_header = yes

smtpd_tls_session_cache_timeout = 3600s

tls_random_source = dev:/dev/urandom

В файле /usr/local/etc/postfix/master.cf нужно добавить:

smtps inet n - n - - smtpd -o smtpd_tls_wrappermode=yes -o smtpd_sasl_auth_enable=yes

1	smtps inet n - n - - smtpd -o smtpd_tls_wrappermode=yes -o smtpd_sasl_auth_enable=yes

и перестартовать postfix

Оставить комментарий freebsd, linux, postfix, ssl, tls

Настройка DKIM подписи на FreeBSD 10.4 почтовый сервер Postfix

19.08.2019 Павел Грибов Linux

Зачем она нужна? Например для того чтобы почтовые сервера gmail.com, mail.ru и ряд других не отправляли письма с вашего домена в папку «спам».

Ставим opendkim:

pkg install opendkim

1	pkg install opendkim

Создадим файл конфигурации opendkim на основе примера:

cat /usr/local/etc/mail/opendkim.conf.sample | egrep -v '^#|^$' > /usr/local/etc/mail/opendkim.conf
mcedit /usr/local/etc/mail/opendkim.conf

1 2	cat /usr/local/etc/mail/opendkim.conf.sample \| egrep -v '^#\|^$' > /usr/local/etc/mail/opendkim.conf mcedit /usr/local/etc/mail/opendkim.conf

Получим файл вида:

Domain			example.com
KeyFile			/var/db/dkim/example.private
Selector		my-selector-name
Socket			inet:port@localhost
Syslog			Yes

Domain example.com

KeyFile /var/db/dkim/example.private

Selector my-selector-name

Socket inet:port@localhost

Syslog Yes

Преобразуем его к виду:

Domain			domen.ru
KeyTable			/var/db/dkim/KeyTable
SigningTable		/var/db/dkim/SigningTable
ExternalIgnoreList	/var/db/dkim/TrustedHosts
Selector		relay
Socket			inet:12301@localhost
Canonicalization	relaxed/relaxed
Syslog			Yes

Domain domen.ru

KeyTable /var/db/dkim/KeyTable

SigningTable /var/db/dkim/SigningTable

ExternalIgnoreList /var/db/dkim/TrustedHosts

Selector relay

Socket inet:12301@localhost

Canonicalization relaxed/relaxed

Syslog Yes

В файл /var/db/dkim/TrustedHosts добавим хосту с которых разрешены подключения:

*.domen.ru
127.0.0.1
localhost

*.domen.ru

127.0.0.1

localhost

Создаем каталог для хранения ключей и создаем собственно сами ключи:

mkdir -p /etc/opendkim/domen.ru
opendkim-genkey -D /etc/opendkim/tviinet.ru/ --domain tviinet.ru --selector relay

1 2	mkdir -p /etc/opendkim/domen.ru opendkim-genkey -D /etc/opendkim/tviinet.ru/ --domain tviinet.ru --selector relay

Создадим пользователя opendkim,зададим владельца и права доступа на файлы:

pw useradd opendkim -m -s /usr/sbin/nologin -w no
chown :opendkim /etc/opendkim/domen.ru/*
chmod g+rw /etc/opendkim/domen.ru/*

pw useradd opendkim -m -s /usr/sbin/nologin -w no

chown :opendkim /etc/opendkim/domen.ru/*

chmod g+rw /etc/opendkim/domen.ru/*

Создаем таблицу KeyTable. В ней хранится список соответствий между селекторами, доменами и файлами с закрытыми ключами. Формат записей:
<селектор>._domainkey.<домен> <домен>:<селектор>:<путь к закрытому ключу>

mcedit /var/db/dkim/KeyTable

1	mcedit /var/db/dkim/KeyTable

Например:

relay._domainkey.tviinet.ru domen.ru:relay:/etc/opendkim/tdomen.ru/relay.private

1	relay._domainkey.tviinet.ru domen.ru:relay:/etc/opendkim/tdomen.ru/relay.private

Создаем SigningTable. В данной таблице хранятся соответствия между определенными email-адресами и записями в KeyTable.

mcedit /var/db/dkim/SigningTable

1	mcedit /var/db/dkim/SigningTable

Добавляем в него:

*@domen.ru relay._domainkey.domen.ru

1	*@domen.ru relay._domainkey.domen.ru

Далее пробуем стартовать сервис:

/usr/local/etc/rc.d/milter-opendkim onestart

1	/usr/local/etc/rc.d/milter-opendkim onestart

Если всё хорошо, правим конфигурацию postfix:

mcedit /usr/local/etc/postfix/main.cf

1	mcedit /usr/local/etc/postfix/main.cf

Добавляем:

milter_protocol = 2
milter_default_action = accept
smtpd_milters = inet:localhost:12301
non_smtpd_milters = inet:localhost:12301

milter_protocol = 2

milter_default_action = accept

smtpd_milters = inet:localhost:12301

non_smtpd_milters = inet:localhost:12301

Перезапускаем postfix:

/usr/local/etc/rc.d/postfix restart

1	/usr/local/etc/rc.d/postfix restart

Если всё хорошо, остался последний шаг: правка DNS. Посмотрим содержимое:

cat /etc/opendkim/domen.ru/relay.txt

relay._domainkey	IN	TXT	( "v=DKIM1; k=rsa; "
	  "p=MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQDPHo37kaZ6zTfi8pZUE2QIDAQAB" )  ; ----- DKIM key relay for domen.ru

cat /etc/opendkim/domen.ru/relay.txt

relay._domainkey IN TXT ( "v=DKIM1; k=rsa; "

"p=MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQDPHo37kaZ6zTfi8pZUE2QIDAQAB" ) ; ----- DKIM key relay for domen.ru

Добавим эту запись в зону TXT DNS. И пробуем отправить письмо например на gmail.com. В «исходном письме» должна присутствовать запись о DKIM.

Оставить комментарий dkim, freebsd, postfix

Последовательное выполнение команд в Linux

19.08.2019 Павел Грибов Linux

Иногда нужно одной строчкой выполнить последовательно несколько команд в терминале. Причем сделать это с контролем корректности выполнения предыдущей команды. Простейший способ — выполнять их через оператор &&, например:

/usr/local/etc/rc.d/memcached restart && /usr/local/bin/wget -m -np -nv -R jpg,jpeg,gif,png,tif,css --spider -l 10 https://centrtrikolor.ru --no-check-certificate

1	/usr/local/etc/rc.d/memcached restart && /usr/local/bin/wget -m -np -nv -R jpg,jpeg,gif,png,tif,css --spider -l 10 https://centrtrikolor.ru --no-check-certificate

«Обратный» знак разделения это || — означает выполнение следующей команды, если предыдущая завершилась с ошибкой

Оставить комментарий bash, выполнение команд, последовательно

1 2 »

Пн	Вт	Ср	Чт	Пт	Сб	Вс
			1	2	3	4
5	6	7	8	9	10	11
12	13	14	15	16	17	18
19	20	21	22	23	24	25
26	27	28	29	30	31