Como preencher partes vazias de uma imagem projetada?

Quando projetei um modelo 3D em um plano 2D (projeção em perspectiva), o resultado da projeção apareceu como a imagem a segui

e preciso preencher pontos vazios nessa imagem para parecer com esta

Eu imagino que eu possa encontrar uma boa maneira de preencher esses pontos com uma maneira profissional usando qualquer algoritmo de processamento de imagem usando o matlab

questionAnswers(2)

yourAnswerToTheQuestion