Adicione filtros de rosto 2D ou 3D como MSQRD / SnapChat usando a API do Google Vision para iOS
Aqui estão algumas pesquisas que fiz até agora: - usei a API do Google Vision para detectar vários pontos de referência de face. Aqui está a referência:https://developers.google.com/vision/introduction
Aqui está o link para o Código de exemplo para obter os pontos de referência faciais. Ele usa a mesma API do Google Vision. Aqui está o link de referência:https://github.com/googlesamples/ios-vision
Eu já passei por vários blogs na Internet que dizem MSQRD com base na visão em nuvem do Google. Aqui está o link para ele:https://medium.com/@AlexioCassani/how-to-create-a-msqrd-like-app-with-google-cloud-vision-802b578b30a0
Para Android, aqui está a referência:https://www.raywenderlich.com/158580/augmented-reality-android-googles-face-api
Existem vários SDKs pagos que atendem totalmente a esse propósito. Mas eles são muito caros. Então, não posso pagar. Por exemplo:
Há possibilidade de alguns verem issopergunta como duplicada disto:Implementação de filtro de rosto como MSQRD / SnapChat
Mas o segmento tem quase 1,6 anos, sem respostas certas.
Eu passei por este artigo:https://dzone.com/articles/mimic-snapchat-filters-programmatically-1
Ele descreve todas as etapas essenciais para alcançar os resultados desejados. Mas eles aconselham a usar seu próprio SDK criado.
De acordo com minha pesquisa, não há material suficientemente bom que ajude a preencher os resultados desejados, comoFiltros de rosto MSQRD.
Mais um repositório Github em torno do qual tem a mesma implementação, mas não fornece muita informação sobre a mesma.https://github.com/rootkit/LiveFaceMask
Agora minha pergunta é:
Se tivermos os pontos de referência faciais usando a API do Google Vision (ou mesmo usando o DiLib), como posso adicionar modelos 2D ou 3D sobre ele. Em qual formato isso precisa ser feito, isso requer algumas coordenadas X, Y com cálculo de vértices.
OBSERVAÇÃO: Passei pelo Googles "GooglyEyesDemo", que adiciona a camada de visualização aos olhos. Basicamente, adiciona uma visão sobre o rosto. Portanto, não quero adicionar camadas de visualização unidimensional ao UIView. Imagem anexada para referência:
https://developers.google.com/vision/ios/face-tracker-tutorial
Criando modelos: também quero saber como criar modelos para filtros ativos, como o MSQRD. Congratulo-me com todas as recomendações de software ou formato. Espero que a pesquisa que fiz ajude outras pessoas e outras pessoas a me ajudarem a alcançar os resultados desejados. Deixe-me saber se mais detalhes são necessários. **
Imagem anexada para mais referência:
Obrigado Harry