Agregue filtros faciales 2D o 3D como MSQRD / SnapChat usando la API de Google Vision para iOS
Aquí hay algunas investigaciones que he hecho hasta ahora: - He usado la API de Google Vision para detectar varios puntos de referencia. Aquí está la referencia:https://developers.google.com/vision/introduction
Aquí está el enlace al Código de muestra para obtener los puntos de referencia faciales. Utiliza la misma API de Google Vision. Aquí está el enlace de referencia:https://github.com/googlesamples/ios-vision
He revisado varios blogs en Internet que dicen MSQRD basado en la visión de la nube de Google. Aquí está el enlace:https://medium.com/@AlexioCassani/how-to-create-a-msqrd-like-app-with-google-cloud-vision-802b578b30a0
Para Android, aquí está la referencia:https://www.raywenderlich.com/158580/augmented-reality-android-googles-face-api
Hay varios SDK pagados que cumplen por completo el propósito. Pero son muy caros. Así que no puedo pagarlo. Por ejemplo:
Existe la posibilidad de que algunos vean estopregunta como duplicado de esta:Implementación de filtros faciales como MSQRD / SnapChat
Pero el hilo tiene casi 1.6 años sin respuestas correctas.
He leído este artículo:https://dzone.com/articles/mimic-snapchat-filters-programmatic-1
Describe todos los pasos esenciales para lograr los resultados deseados. Pero aconsejan usar su propio SDK.
Según mi investigación, no hay material lo suficientemente bueno que ayude a completar por completo los resultados deseados, comoFiltros faciales MSQRD.
Un repositorio más de Github alrededor del cual tiene la misma implementación pero no brinda mucha información sobre el mismo.https://github.com/rootkit/LiveFaceMask
Ahora mi pregunta es:
Si tenemos los puntos de referencia faciales con la API de Google Vision (o incluso con DiLib), ¿cómo puedo agregar modelos 2D o 3D sobre ella? En qué formato esto debe hacerse así, requiere algunas coordenadas X, Y con cálculo de vértices.
NOTA: He revisado el "GooglyEyesDemo" de Google que agrega la capa de vista previa sobre los ojos. Básicamente agrega una vista sobre la cara. Por lo tanto, no quiero agregar capas de vista previa unidimensional de UIView sobre él. Imagen adjunta para referencia:
https://developers.google.com/vision/ios/face-tracker-tutorial
Creación de modelos: también quiero saber cómo crear modelos para filtros en vivo como MSQRD. Agradezco cualquier recomendación de software o formato. Espero que la investigación que he hecho ayude a otros y la experiencia de otra persona me ayude a lograr los resultados deseados. Avíseme si necesita más detalles. **
Imagen adjunta para más referencia:
Gracias Harry