Eu coletei dados usando o sensor Kinect v2 e tenho um mapa de profundidade junto com sua imagem RGB correspondente. Também calibrei o sensor e obtive a matriz de rotação e translação entre a câmera Depth e a câmera RGB.

Pude reprojetar os valores de profundidade na imagem RGB e eles correspondem. No entanto, como a imagem RGB e a profundidade são de resoluções diferentes, há muitos buracos na imagem resultante.

Então, estou tentando mudar para outro lado, ou seja, mapeando a cor para a profundidade, em vez de profundidade para cor.

Portanto, o primeiro problema que tenho é que a imagem RGB possui 3 camadas e preciso convertê-la em escala de cinza para fazer isso, e não estou obtendo os resultados corretos.

Isso pode ser feito?

Alguém já tentou isso antes?