Maxim Karpushin étudie la mise en correspondance d'images RGBD

Qui seront les gagnants des prix des meilleures thèses de la Fondation Télécom ? Leurs noms seront dévoilés le 27 avril lors de la cérémonie de remise des prix 2017, chez Nokia France. Auteurs de thèses distinguées pour leur excellence et sélectionnées dans le cadre du programme Futur & Ruptures (co-financé par la Fondation Télécom et le Carnot Télécom & Société numérique), les lauréats recevront un prix pour un montant total de 10 000 €. En attendant de connaître le palmarès final, nous vous présentons dans une série de cinq vidéos les travaux des nominés pour ce prix. Ils ont été menés au sein des laboratoires des écoles de l’IMT.

(2/5) Nous poursuivons notre série avec Maxim Karpushin, dont les travaux ont été menés à Télécom ParisTech. Ils portent sur les caractéristiques locales pour la mise en correspondance d’images RGBD sous changements de position de la caméra.

[box type= »shadow » align= » » class= » » width= » »]

Titre de la thèse

« Caractéristiques locales pour la mise en correspondance d’images RGBD sous changements de position de la caméra »

Résumé

Au cours des dernières années l’acquisition des données 3D s’est de plus en plus démocratisée grâce à de nouvelles technologies permettant la génération massive du contenu texture+profondeur (RGBD), y compris des capteurs infra-rouges Microsoft Kinect, Intel RealSense, Google Tango, LIDAR. La disponibilité croissante de cette modalité visuelle enrichie, combinant l’information photométrique et géométrique, présente de nouvelles perspectives pour différents problèmes classiques dans le domaine de la vision, de la robotique et du multimédia. Dans cette thèse, nous considérons la recherche des correspondances visuelles locales dans les images RGBD.

Cette thèse commence par une étude de l’invariance des caractéristiques visuelles locales existantes à différentes déformations visuelles. Il est connu que les caractéristiques locales traditionnelles peuvent être robustes à différentes transformations dans le plan de caméra, mais sont très sensibles aux distorsions perspectives induites par des mouvements de la caméra. En même temps, ces déformations visuelles sont fréquemment présentes dans la majorité des applications réelles. Partant de cette observation, nous essayons d’éliminer cette vulnérabilité dans le cas des images texture+profondeur, en intégrant proprement le complément géométrique dans la détection de points clefs répétables et leur description locale.

Nous contribuons ainsi au développement de nouvelles approches d’extraction des caractéristiques qui ciblent une meilleure stabilité aux transformations tridimensionnelles par rapport aux approches existantes. Afin d’évaluer leur performance, nous avons adapté une procédure standard d’évaluation de répétabilité et de discriminabilité des caractéristiques, en prenant en compte la présence de l’information géométrique. Avec cela, nous mettons en place des applications de caractéristiques locales en utilisant des données acquises avec un capteur Kinect. Les résultats obtenus démontrent les avantages des méthodes conçues en termes de stabilité des caractéristiques aux mouvements de la caméra.[/box]

En savoir + sur le programme Futur & Ruptures