Homem nos ataques intermediários e SSL [duplicado]

Esta pergunta já tem uma resposta aqui:

SSL e mal-entendido intermediário 5 respostas

Estou usando o OpenSSL para conectar-me via HTTPS a um dos meus servidores. No entanto, não consigo obter a verificação do servidor para trabalhar no lado do cliente. Pelo que entendi, não verificar o certificado me deixa aberto aos ataques do Man In the Middle, mas a verificação do certificado está basicamente procurando o endereço IP e o nome de domínio no certificado para corresponder. (Estou dizendo muitas coisas erradas apenas para obter respostas completas e detalhadas :))

Portanto, se for o meu servidor, eu sei o nome do domínio e o endereço IP e estou usando SSL, devo me preocupar? Por outro lado, o homem no meio não podia descriptografar meus dados ssl, inserir código malicioso, criptografar novamente e depois me encaminhar o certificado do meu servidor?

Por fim, se os ataques do MITM são um problema, e se eu verificar o certificado com outra biblioteca primeiro para verificar e depois usar o OpenSSL, não com a verificação?

Existem outros ataques que poderiam acontecer?

questionAnswers(2)

yourAnswerToTheQuestion