Es hat frühere Fragen gegeben (Hier, Hier undHier) im Zusammenhang mit meiner Frage, aber meine Frage hat einen anderen Aspekt, den ich in keiner der zuvor gestellten Fragen gesehen habe.

Ich habe einen Datensatz für meine Forschung mit dem Kinect-Tiefensensor erfasst. Dieser Datensatz hat das Format von PNG-Bildern für Tiefen- und RGB-Streams zu einem bestimmten Zeitpunkt. Um Ihnen einen Eindruck zu verschaffen, sehen Sie sich die folgenden Bilder an:

EDIT: Ich füge hier die Ausgabe der Kantenerkennung hinzu.

Ausgabe der Sobel-Kantenerkennung für:

RGB-Bild

Tiefenbild

Ich versuche nun, diese beiden Frames so auszurichten, dass ich ein kombiniertes RGBZ-Bild erhalte.

Ich habe keine Kenntnis über die zugrunde liegenden Kameraeigenschaften oder den Abstand zwischen RGB- und Infrarotsensoren.

Gibt es eine Methode, mit der die RGB-Werte an die entsprechenden Z-Werte angepasst werden können?

Eine der Ideen, die ich habe, ist, Kanten in beiden Bildern zu verwenden und zu versuchen, sie abzugleichen.