НСПК: Подпись файла тестовым сертификатом для подписи
Для начала нужно получить закрытый ключ в формате, который может прочитать openssl. Для этого из утилиты xca, экспортируем ключ в формате p12:

Далее извлекаем закрытый ключ:
openssl pkcs12 -in SignRTP.p12 -nocerts -nodes -out p1.pem
Подписывать можно командой вида:
openssl dgst -engine gost -md_gost12_256 -binary -sign p1.pem 1.txt | base64