Я заинтересован в использовании планшета Project Tango для трехмерной реконструкции с использованием произвольных точечных объектов. В текущей версии SDK у нас, кажется, есть доступ к следующим данным.

Изображение 1280 x 720 RGB.Облако точек с 0- ~ 10000 точек, в зависимости от среды. Похоже, что в среднем от 3000 до 6000 в большинстве случаев.

Что я действительно хочу, так это уметь идентифицировать трехмерную точку для ключевых точек на изображении. Поэтому имеет смысл проецировать глубину в плоскость изображения. Я сделал это, и я получаю что-то вроде этого:

Проблема этого процесса заключается в том, что точки глубины редки по сравнению с пикселями RGB. Поэтому я сделал еще один шаг и выполнил интерполяцию между точками глубины. Сначала я провел триангуляцию Делоне, и, получив хорошую триангуляцию, я интерполировал три точки на каждом фасете и получил приличное, довольно однородное изображение глубины. Вот зоны, в которых действительна интерполированная глубина, наложенная на RGB iamge.

Теперь, учитывая модель камеры, можно проецировать глубину обратно в декартовы координаты в любой точке изображения глубины (поскольку изображение глубины было сделано так, что каждый пиксель соответствует точке на исходном изображении RGB, и у нас есть параметры камеры камеры RGB). Однако, если вы посмотрите на изображение триангуляции и сравните его с исходным изображением RGB, вы увидите, что глубина действительна для всех неинтересных точек на изображении: в основном это пустые, безликие плоскости. Это не только верно для этого единственного набора изображений; это тенденция, которую я наблюдаю за датчиком. Например, если человек стоит перед датчиком, в его силуэте очень мало точек глубины.

В результате этой характеристики датчика, если я выполняю визуальное извлечение признаков на изображении, большинство областей с углами или интересными текстурами попадают в области без соответствующей информации о глубине. Просто пример: я обнаружил 1000 точек SIFT из RGB-изображения с датчика Xtion, и 960 из них имели действительные значения глубины. Если я сделаю то же самое с этой системой, я получу около 80 ключевых точек с правильной глубиной. На данный момент этот уровень производительности неприемлем для моих целей.

Я могу догадаться об основных причинах этого: кажется, что какой-то алгоритм извлечения плоскостей используется для получения точек глубины, тогда как датчики Primesense / DepthSense используют что-то более сложное.

Так или иначе, мой главный вопрос здесь: можем ли мы ожидать какого-либо улучшения данных глубины в более поздний момент времени с помощью улучшенных алгоритмов обработки изображений RGB-IR? Или это неотъемлемый предел датчика тока?