Chef d'œuvre M2 IM
Université Paul Sabatier
Calibrage automatique de captures vidéo en caméra HD + Kinect ©
Dans le cadre de ses travaux sur la langue des signes française, l’équipe TCI (Traitement et Compréhension de l’image) souhaite étudier la possibilité de filmer une personne en train de signer, à la fois avec une caméra HD et un capteur permettant d’obtenir une information de profondeur sur la scène enregistrée.
Actuellement l’équipe TCI dispose d’un système comprenant une Kinect et une caméra HD, la Kinect étant fixée sur celle-ci. Un logiciel d’acquisition (Kinaki) permet d’enregistrer les images couleurs et cartes de profondeurs enregistrées par les deux capteurs de la Kinect. A terme, l’objectif est de réaliser un suivi des mouvements et une reconnaissance du discours signé.
Néanmoins, afin de disposer de données suffisamment précises, il est indispensable :
- de disposer des paramètres intrinsèques des différents capteurs ;
- d’estimer les paramètres extrinsèques qui relient les cartes de profondeurs enregistrées par le capteur Kinect et les images couleurs issues de la caméra HD.
La finalité de notre projet est de concevoir un logiciel capable de réaliser le calibrage interne du système, de recaler les images et de produire une représentation 3D de la scène enregistrée.
Objectifs détaillés
Calibrage interne :
Estimer les paramètres intrinsèques de la caméra HD et des deux capteurs de la Kinect (caméra RGB basse résolution et capteur de profondeur).
Calibrage externe :
Estimer le décalage (rotation, translation) entre les images enregistrées par la caméra HD et celles de la Kinect.
Reconstruction 3D :
Afficher une représentation de la scène à partir des informations de position fournies par les cartes de profondeurs de la Kinect et des informations de couleurs enregistrées par la caméra HD.