Oculométrie Numérique Economique : modèle d'apparence et apprentissage par variétés

Eye Tracking system : appearance based model and manifold learning

• Auteur / Autrice : Ke Liang
• Direction : François Jouen
• Type : Thèse de doctorat
• Discipline(s) : Informatique, mathématique et applications
• Date : Soutenance le 13/05/2015
• Etablissement(s) : Paris, EPHE
• Ecole(s) doctorale(s) : École doctorale de l'École pratique des hautes études (Paris)
• Partenaire(s) de recherche : Laboratoire : Cognitions humaine et artificielle (Paris)
• Jury : Président / Présidente : Charles Tijus
• Jury : Examinateurs / Examinatrices : François Jouen, Charles Tijus, Stéphane Canu, Youssef Chahir
• Jury : Rapporteurs / Rapporteuses : Edwige Pissaloux, Stéphane Canu

Mots clés

Mots clés contrôlés

Oculométrie

Mots clés libres

Filtre particulaire

Apprentissage par variétés

Régression par processus gaussien

Suivi des yeux

Extraction des caractéristiques

Oculométrie

Particle filtering

Manifold learning

Gaussian process regression

Eye localization and tracking

Feature extraction

Eye tracking

Résumé

L'oculométrie est un ensemble de techniques dédié à enregistrer et analyser les mouvements oculaires. Dans cette thèse, je présente l'étude, la conception et la mise en œuvre d'un système oculométrique numérique, non-intrusif permettant d'analyser les mouvements oculaires en temps réel avec une webcam à distance et sans lumière infra-rouge. Dans le cadre de la réalisation, le système oculométrique proposé se compose de quatre modules: l'extraction des caractéristiques, la détection et le suivi des yeux, l'analyse de la variété des mouvements des yeux à partir des images et l'estimation du regard par l'apprentissage. Nos contributions reposent sur le développement des méthodes autour de ces quatre modules: la première réalise une méthode hybride pour détecter et suivre les yeux en temps réel à partir des techniques du filtre particulaire, du modèle à formes actives et des cartes des yeux (EyeMap); la seconde réalise l'extraction des caractéristiques à partir de l'image des yeux en utilisant les techniques des motifs binaires locaux; la troisième méthode classifie les mouvements oculaires selon la variété générée par le Laplacian Eigenmaps et forme un ensemble de données d'apprentissage; enfin, la quatrième méthode calcul la position du regard à partir de cet ensemble d'apprentissage. Nous proposons également deux méthodes d'estimation:une méthode de la régression par le processus gaussien et un apprentissage semi-supervisé et une méthode de la catégorisation par la classification spectrale (spectral clustering). Il en résulte un système complet, générique et économique pour les applications diverses dans le domaine de l'oculométrie.

Gaze tracker offers a powerful tool for diverse study fields, in particular eye movement analysis. In this thesis, we present a new appearance-based real-time gaze tracking system with only a remote webcam and without infra-red illumination. Our proposed gaze tracking model has four components: eye localization, eye feature extraction, eye manifold learning and gaze estimation. Our research focuses on the development of methods on each component of the system. Firstly, we propose a hybrid method to localize in real time the eye region in the frames captured by the webcam. The eye can be detected by Active Shape Model and EyeMap in the first frame where eye occurs. Then the eye can be tracked through a stochastic method, particle filter. Secondly, we employ the Center-Symmetric Local Binary Patterns for the detected eye region, which has been divided into blocs, in order to get the eye features. Thirdly, we introduce manifold learning technique, such as Laplacian Eigen-maps, to learn different eye movements by a set of eye images collected. This unsupervised learning helps to construct an automatic and correct calibration phase. In the end, as for the gaze estimation, we propose two models: a semi-supervised Gaussian Process Regression prediction model to estimate the coordinates of eye direction; and a prediction model by spectral clustering to classify different eye movements. Our system with 5-points calibration can not only reduce the run-time cost, but also estimate the gaze accurately. Our experimental results show that our gaze tracking model has less constraints from the hardware settings and it can be applied efficiently in different real-time applications.