demo), либо используйте прогнозы x, y, но затем найдите параметры универсальной 3d-модели и камеры, которые дадут ближайшую проекцию тока x, y.
екоторые исследования, которые я провел до сих пор: - Я использовал Google Vision API для обнаружения различных ориентиров лица. Вот ссылка:https://developers.google.com/vision/introduction
Вот ссылка на образец кода, чтобы получить ориентиры для лица. Он использует тот же API Google Vision. Вот ссылка ссылка:https://github.com/googlesamples/ios-vision
Я просмотрел различные блоги в Интернете, в которых говорится, что MSQRD основан на облачном видении Google. Вот ссылка на него:https://medium.com/@AlexioCassani/how-to-create-a-msqrd-like-app-with-google-cloud-vision-802b578b30a0
Для Android вот ссылка:https://www.raywenderlich.com/158580/augmented-reality-android-googles-face-api
Существует несколько платных SDK, которые полностью соответствуют цели. Но они высоко оценены. Так что не могу себе это позволить. Например:
Есть вероятность, что некоторые увидят этовопрос как дубликат этого:Реализация фильтра лица, как MSQRD / Snapchat
Но ветке почти 1,6 года, и на нее нет правильных ответов.
Я прошел эту статью:https://dzone.com/articles/mimic-snapchat-filters-programmatically-1
Здесь описаны все необходимые шаги для достижения желаемых результатов. Но они советуют использовать свой собственный SDK.
Согласно моим исследованиям, нет достаточно хорошего материала, который бы помог в полной мере достичь желаемых результатов,MSQRD лицевые фильтры.
Еще один репозиторий Github, который имеет ту же реализацию, но не дает много информации о том же.https://github.com/rootkit/LiveFaceMask
Теперь мой вопрос:
Если у нас есть лицевые ориентиры с помощью Google Vision API (или даже с использованием DiLib), как я могу добавить 2d или 3d модели поверх него. В каком формате это нужно сделать, как это требуется некоторые координаты X, Y с вычислением вершин.
ПРИМЕЧАНИЕ: я прошел через Googles "GooglyEyesDemo", который добавляет слой предварительного просмотра поверх глаз. Это в основном добавляет вид на лицо. Поэтому я не хочу добавлять UIView одномерные слои предварительного просмотра поверх него. Изображение прикреплено для справки:
https://developers.google.com/vision/ios/face-tracker-tutorial
Создание моделей: я также хочу знать, как создавать модели для живых фильтров, таких как MSQRD. Я приветствую любые рекомендации по программному обеспечению или формату. Надеюсь, что проведенное мной исследование поможет другим, а опыт других поможет мне достичь желаемых результатов. Дайте мне знать, если потребуется дополнительная информация. **
Изображение прикреплено для дополнительной справки:
Спасибо Гарри