¿Cómo llenar partes vacías de una imagen proyectada?

Cuando proyecté un modelo 3D en un plano 2D (proyección en perspectiva), el resultado de la proyección apareció como la siguiente imagen.

y necesito llenar puntos vacíos en esta imagen para que parezca esta

Me pregunto si puedo encontrar una buena manera de llenar estos puntos de manera profesional usando cualquier algoritmo de procesamiento de imágenes usando Matlab

Respuestas a la pregunta(2)

Su respuesta a la pregunta