OpenCV modèles de correspondance en temps réel pour IOS

Question

Je voudrais créer une application (sur iPhone) qui fait ceci :

J'ai une image de modèle (un logo ou tout objet) et je voudrais la trouver dans la vue de la caméra et mettre une couche à l'endroit où elle est trouvée et la suivre !

Il s'agit d'une RA sans marque avec OpenCV !

J'ai lu quelques documents et livres ainsi que des questions-réponses ici, mais malheureusement

en fait, j'aimerais créer quelque chose comme ceci ou quelque chose comme cela.

Si quelqu'un peut m'envoyer du code source ou un tutoriel vraiment utile (étape par étape) je serais vraiment heureux !!!

Merci !

Answer 1

Implémenter cela n'est pas trivial - cela implique la réalité augmentée combinée à la correspondance de modèles et au rendu 3D.

Un aperçu approximatif :

1. Utiliser une sorte d'extraction de caractéristiques stable pour obtenir des caractéristiques du flux vidéo en entrée. (par exemple, voir FAST in OpenCV).
2. Combiner ces caractéristiques et reprojeter pour estimer les paramètres de la caméra et la pose. (Voir Calibration de caméra pour une discussion, mais noter que celles-ci nécessitent généralement un motif de calibration tel qu'un damier.)
3. Utiliser la correspondance de modèles pour balayer l'image à la recherche de zones de votre image cible, puis utiliser les caractéristiques et les paramètres de la caméra pour déterminer la pose de l'objet.
4. Appliquer les transformations de la caméra et de l'objet en avant et rendre l'image de remplacement dans la scène.

Implémenter tout cela nécessitera beaucoup de recherche et de travail acharné !

Il existe quelques articles sur le web qui pourraient vous être utiles :

• Simple Réalité Augmentée pour OpenCV
• Une bibliothèque minimale pour la réalité augmentée
• RA avec NyartToolkit

Vous pouvez également explorer certaines des bibliothèques et cadres de RA disponibles. Wikipedia a une bonne liste :

• Logiciel de RA

À noter, le kit d'outils de Qualcomm, qui n'est pas FLOSS mais semble très performant.