Да, шифрование PKCS # 1 и подписи PKCS # 1разные, В случае шифрования (которое вы пробовали) входное сообщение просто дополняется до того, как оно будет возведено в степень.

С другой стороны, сигнатуры PKCS # 1 сначала рассчитывают структуру DER ASN.1 формы

DigestInfo ::= SEQUENCE {
    digestAlgorithm AlgorithmIdentifier,
    digest OCTET STRING
}

Затем он снова дополняется, чтобы сформировать закодированное сообщение EM

EM = 0x00 || 0x01 || PS || 0x00 || T

где PS - строка дополнения 0xff достаточной длины. Если вы воспроизводите этот EM и используетеRSA_private_encryptтогда вы получите правильную кодировку подписи PKCS # 1 v1.5, то же самое, что вы получитеRSA_sign или даже лучше, используя общийEVP_PKEY_sign.

Вот небольшая демонстрация в Ruby:

require 'openssl'
require 'pp'

data = "test"
digest = OpenSSL::Digest::SHA256.new
hash = digest.digest("test")
key = OpenSSL::PKey::RSA.generate 512

signed = key.sign(digest, data)
dec_signed = key.public_decrypt(signed)

p hash
pp OpenSSL::ASN1.decode dec_signed

Хеш SHA-256 распечатывается следующим образом:

"\x9F\x86\xD0\x81\x88L}e\x9A/..."

dec_signed является результатомRSA_sign снова расшифровывается с помощью открытого ключа - это возвращает нам точно входные данные для функции RSA с удаленным заполнением, и, как оказалось, это точноDigestInfo структура, упомянутая выше:

 #<OpenSSL::ASN1::Sequence:0x007f60dc36b250
 @infinite_length=false,
 @tag=16,
 @tag_class=:UNIVERSAL,
 @tagging=nil,
 @value=
  [#<OpenSSL::ASN1::Sequence:0x007f60dc36b318
    @infinite_length=false,
    @tag=16,
    @tag_class=:UNIVERSAL,
    @tagging=nil,
    @value=
     [#<OpenSSL::ASN1::ObjectId:0x007f60dc36b390
       @infinite_length=false,
       @tag=6,
       @tag_class=:UNIVERSAL,
       @tagging=nil,
       @value="SHA256">,
      #<OpenSSL::ASN1::Null:0x007f60dc36b340
       @infinite_length=false,
       @tag=5,
       @tag_class=:UNIVERSAL,
       @tagging=nil,
       @value=nil>]>,
   #<OpenSSL::ASN1::OctetString:0x007f60dc36b2a0
    @infinite_length=false,
    @tag=4,
    @tag_class=:UNIVERSAL,
    @tagging=nil,
    @value="\x9F\x86\xD0\x81\x88L}e\x9A/...">]>

Как вы можете видеть, значениеdigest полеDigestInfo это то же самое, что хеш SHA-256, который мы вычислили сами.