Tengo 4 puntos 2D en el espacio de pantalla, y necesito proyectarlos hacia atrás en el espacio 3D. Sé que cada uno de los 4 puntos es una esquina de un rectángulo rígido girado en 3D, y sé el tamaño del rectángulo. ¿Cómo puedo obtener coordenadas 3D de esto?

No estoy usando ninguna API en particular, y no tengo una matriz de proyección existente. Solo estoy buscando matemática básica para hacer esto. Por supuesto, no hay suficientes datos para convertir un solo punto 2D a 3D sin otra referencia, pero imagino que si tiene 4 puntos, sabe que están todos en ángulo recto entre sí en el mismo plano, y conoces la distancia entre ellos, deberías poder averiguarlo desde allí. Desafortunadamente, no puedo entender cómo.

Esto puede caer bajo el paraguas de la fotogrametría, pero las búsquedas en Google no me han llevado a ninguna información útil.