Я разрабатываю SDK дополненной реальности для OpenCV. У меня были некоторые проблемы, чтобы найти учебники по теме, какие шаги следовать, возможные алгоритмы, быстрое и эффективное кодирование для производительности в реальном времени и т. Д.

Пока что я собрал следующую информацию и полезные ссылки.

OpenCV installation

Скачатьпоследняя версия выпуска.

Вы можете найти руководства по установкеВот (платформы: Linux, Mac, Windows, Java, Android, iOS).

онлайндокументация.

Augmented Reality

Для начинающихВот простой код дополненной реальности в OpenCV Это хорошее начало.

Для тех, кто ищет хорошо разработанный современный SDK, я нашел несколько общих шагов, которые должна выполнить каждая дополненная реальность, основанная на отслеживании маркеров, с учетом функций OpenCV.

Main program: creates all classes, initialization, capture frames from video.

AR_Engine class: Controls the parts of an augmented reality application. There should be 2 main states:

detection: tries to detect the marker in the scene tracking: once it is detected, uses lower computational techniques for traking the marker in upcoming frames.

Также должно быть несколько алгоритмов для определения положения и ориентации камеры в каждом кадре. Это достигается путем обнаружения преобразования гомографии между маркером, обнаруженным на сцене, и двухмерным изображением маркера, который мы обработали в автономном режиме. Объяснение этого методаВот (стр. 18). Основными этапами оценки позы являются:

Load camera Intrinsic Parameters. Previously extracted offline through calibration.

Load the pattern (marker) to track: It is an image of the planar marker we are going to track. It is necessary to extract features and generate descriptors (keypoints) for this pattern so later we can compare with features from the scene. Algorithms for this task:

SIFT FAST SURF

For every frame update, run a detection algorithm for extracting features from the scene and generate descriptors. Again we have several options.

SIFT FAST SURF FREAK: A new method (2012) supossed to be the fastest. ORB

Find matches between pattern and the scene descriptors.

FLANN matcher

Find Homography matrix from those matches. RANSAC can be used before to find inliers/outliers in the set of matches.

Extract Camera Pose from homography.

Sample code on Pose from Homography. Sample code on Homography from Pose. Complete examples: aruco Mastering OpenCV samples