Résumé
Mesurer en temps réel la pose d’une caméra relativement à des repères tridimensionnels identifiés dans une image vidéo est un, sinon le pilier fondamental de la réalité augmentée. Nous proposons de résoudre ce problème dans des environnements bâtis, à l’aide de la vision par ordinateur. Nous montrons qu’un système de positionnement plus précis que le GPS, et par ailleurs plus stable, plus rapide et moins coûteux en mémoire que d’autres systèmes de positionnement visuel introduits dans la littérature, peut être obtenu à condition de faire coopérer diverses méthodes de statistique fine (détection a contrario des points de fuite de l’image), d’apprentissage profond (proposition de boites contenant des façades, élaboration d’un descripteur de façades basé sur un réseau de neurones convolutifs), d’inférence bayésienne (recalage par espérance-maximisation d’un modèle géométrique et sémantique compact des façades identiées) et de sélection de modèle (analyse des mouvements de la caméra par suivi de plans texturés). Nous décrivons de plus une méthode de modélisation in situ, qui permet d’obtenir de manière fiable, de par leur confrontation immédiate à la réalité, des modèles 3D utiles au calcul de pose tel que nous l’envisageons.
Mémoire
Version papier : hdr_gsimon_print.pdf
Version écran : hdr_gsimon_links.pdf
Vidéos
| No | Lien | Légende |
|---|---|---|
| 1 |  |
Génèse du positionnement en milieu bâti dans l’équipe Magrit (ex-ISA). Un modèle du pont Neuf est recalé dans une vidéo en utilisant des contours et des points de ce modèle. |
| 2 |  |
Résultat de l’intégration 3D du pont, en collaboration avec le CRAI. |
| 3 |  |
Un phénomène de tremblement de la scène virtuelle par rapport à la scène réelle est observé lorsque des capteurs de pose non visuels sont utilisés [1]. |
| 4 |  |
Modélisation in situ à l’aide du système Tinmith-Metro [1]. |
| 5 |  |
Suivi multiplan : points appariés. |
| 6 |  |
Suivi multiplan : intégration 3D. |
| 7 |  |
Suivi multiplan sans la sélection de modèle. |
| 8 |  |
Suivi multiplan avec la sélection de modèle. |
| 9 |  |
Autre exemple de suivi multiplan utilisant la sélection de modèle. |
| 10 |  |
Autre exemple de suivi multiplan utilisant la sélection de modèle : poses calculées. |
| 11 |  |
Autre exemple de suivi multiplan utilisant la sélection de modèle : intégration 3D. |
| 12 |  |
Illustration de notre méthode de modélisation in situ avec une scène miniature. |
| 13 |  |
Illustration de notre méthode de modélisation in situ avec une scène d’extérieur comprenant un élément bâti. |
| 14 |  |
Illustration de notre méthode de modélisation in situ avec une scène d’extérieur ne comprenant pas d’élément bâti. |
| 15 |  |
Autre méthode de modélisation in situ basée sur des blobs (scène d’intérieur). |
| 16 |  |
Autre méthode de modélisation in situ basée sur des blobs (scène d’extérieur). |
[1] Wayne Piekarski and Bruce H. Thomas. Tinmith-Metro: New Outdoor Techniques for Creating City Models with an Augmented Reality Wearable Computer. In ISWC 2001, pages 31-38, 2001.
