Estou fazendo costura de imagem no OpenCV, onde estou tirando fotos de uma cena planar de diferentes locais e tento compor um panorama. Eu modifiquei o exemplo de costura para atender às minhas necessidades. O problema com o pipeline de costura openCV é que ele pressupõe uma rotação pura da câmera, o que não é o caso para mim. Quando as fotos são tiradas perfeitamente ortogonais à cena (sem rotação da câmera, apenas tradução), o resultado é muito bom, mas quando há ambos, rotação da câmera e tradução, os resultados não são satisfatórios.

Eu sou capaz de calcular as homografias entre as posições da câmera, o que pode ser feito porque a cena é plana, mas eu realmente não sei qual é o próximo passo. Minha ideia é não distorcer a imagem usando a homografia de tal forma, o que a câmera está olhando para o plano ortogonal e aplicar a costura em seguida. O problema com isso é que eu não sei os locais verdadeiros dos pontos de recurso. Como posso fazer isso? Existe alguma coisa que eu poderia tentar obter melhores resultados de costura para uma cena planar com um movimento arbitrário da câmera?