Ajouter des filtres de visage 2D ou 3D comme MSQRD/SnapChat en utilisant l'API Google Vision pour iOS

Question

Voici quelques recherches que j'ai effectuées jusqu'à présent : - J'ai utilisé l'API Google Vision pour détecter différents points de repère du visage. Voici la référence : https://developers.google.com/vision/introduction

• Voici le lien vers l'exemple de code pour obtenir les points de repère du visage. Il utilise la même API de Google Vision. Voici le lien de référence : https://github.com/googlesamples/ios-vision

• J'ai parcouru les différents blogs sur internet qui disent que MSQRD est basé sur la vision du nuage de Google. En voici le lien : https://medium.com/@AlexioCassani/how-to-create-a-msqrd-like-app-with-google-cloud-vision-802b578b30a0

• Pour Android, voici la référence : https://www.raywenderlich.com/158580/augmented-reality-Android-googles-face-api

• Il existe plusieurs SDK payants qui remplissent pleinement leur fonction. Mais leur prix est élevé. On ne peut donc pas se le permettre. Par exemple :

1) https://deepar.ai/contact/

2) https://www.luxand.com/

Il y a une possibilité que certains voient ceci question en double de ceci : Mise en œuvre du filtre facial comme MSQRD/SnapChat

Mais le fil de discussion date de presque 1,6 an et il n'y a pas de bonnes réponses.

J'ai parcouru cet article : https://dzone.com/articles/mimic-snapchat-filters-programmatically-1

Il décrit toutes les étapes essentielles pour obtenir les résultats souhaités. Mais ils conseillent d'utiliser leur propre SDK.

D'après mes recherches, il n'existe pas de matériel suffisamment bon qui permette d'obtenir les résultats souhaités. Filtres faciaux du MSQRD .

Il y a un autre dépôt Github qui a la même mise en œuvre, mais il ne donne pas beaucoup d'informations à ce sujet. https://github.com/rootkit/LiveFaceMask

Maintenant ma question est :

Si nous avons les points de repère faciaux en utilisant l'API Google Vision (ou même en utilisant DiLib), comment puis-je ajouter des modèles 2d ou 3d par-dessus. Dans quel format cela cela doit être fait comme cela nécessite des coordonnées X,Y avec des sommets calcul.

NOTE : J'ai parcouru le Googles "GooglyEyesDemo" qui ajoute le calque d'aperçu sur les yeux. couche de prévisualisation sur les yeux. En fait, cela ajoute une vue sur le visage. Je ne veux donc pas ne veux pas ajouter des couches de prévisualisation unidimensionnelles UIView par-dessus. Image jointe pour référence :

https://developers.google.com/vision/ios/face-tracker-tutorial

Création de modèles : Je veux aussi savoir comment créer des modèles pour les filtres en direct comme MSQRD. Toute recommandation de logiciel ou de format est la bienvenue. J'espère que les recherches que j'ai effectuées aideront d'autres personnes et que l'expérience de quelqu'un d'autre m'aidera à atteindre les objectifs fixés. l'expérience de quelqu'un d'autre m'aidera à atteindre les résultats souhaités. Faites-moi savoir si vous avez besoin de plus de détails. plus de détails sont nécessaires.**

Image jointe pour plus de référence :

Merci Harry

Answer 1

La classe Canvas est utilisée dans Android pour dessiner de tels modèles 3D / 2D ou les graphiques de base pour IOS peuvent être utilisés. Ce que vous pouvez faire, c'est détecter les composants du visage, prendre leurs points de localisation et dessiner des images par-dessus. Envisagez de passer par là

Answer 2

Vous devez soit prédire les coordonnées x, y et z (consultez le site Web de la Commission européenne). este démo), soit utiliser les prédictions x,y mais ensuite trouver les paramètres du modèle 3d universel et de la caméra qui donneront la projection la plus proche des x,y actuels.