Étude des émotions par l'analyse temps-réel des micro-expressions basée sur la vision par ordinateur

par Reda Belaiche

Projet de thèse en Instrumentation et informatique de l'image

Sous la direction de Fan Yang song, Dominique Ginhac et de Cyrille Migniot.

Thèses en préparation à Bourgogne Franche-Comté , dans le cadre de SPIM - Sciences Physiques pour l'Ingénieur et Microtechniques , en partenariat avec ImViA - Laboratoire d'Imagerie et Vision Artificielle (laboratoire) depuis le 05-10-2018 .


  • Résumé

    Basée sur les techniques de vision par ordinateur, l'objectif de cette thèse est d'établir un système de reconnaissance des émotions sans contact et temps réel. Il devra respecter plusieurs des contraintes générales liées aux applications grand-public : robustesse et flexibilité, faible coût, usage simple et capacité à être embarqué à moindre coût énergétique. Le rendu des émotions par les expressions faciales n'est pas culturelle mais universelle. Ainsi, les émotions de base sont généralement réparties en six catégories. Récemment ces expressions ont également été divisées en deux classes : les macro et les micro-expressions. Les micro-expressions se produisent sur une durée comprise entre 1/4 et 1/25 de seconde. Elles sont involontaires et révèlent les véritables émotions de la personne. Cependant, la localisation et l'analyse de ces événements sont très compliquées du fait de leur faible durée et de leur faible intensité. Ce projet de thèse, se basera sur une étude bibliographique détaillée. Dans un premier temps, une caméra rapide (200 frames/s) sera utilisée pour la capture des micro-expressions. Une nouvelle base de données sera créée dans des conditions réelles d'interaction homme/machine. Ensuite, des algorithmes déjà existants de reconnaissance des macro-expressions seront testés puis améliorés sur des images/vidéos sélectionnées afin de les généraliser au cas des micro-expressions. Certaines nouvelles approches spécifiques à l'analyse des micro-expressions et utilisant des techniques de Machine Learning seront étudiées et proposées. Dans un second temps, les approches d'Approximate Computing pour l'analyse temps-réel des émotions et l'implémentation d'un prototype de classification seront étudiées. Le concept récent de l'Approximate Computing implique la façon dont un système informatique peut s'améliorer (énergiquement plus efficace, plus rapide et moins complexe) en assouplissant ses exigences d'exactitude. En fait, de nombreuses applications au traitement d'images sont robustes aux erreurs, permettant l'introduction d'approximations dans le calcul. Ainsi, un paradigme de calcul adéquat a émergé, dans lequel la précision des résultats de calcul peut être transigé en faveur, par exemple, d'économie d'énergie ou d'amélioration des performances d'exécution. Dans cette étape du projet, l'algorithme sera réorganisé afin d'en extraire le parallélisme. Les calculs parallèles intrinsèques seront implémentés sur une carte GPU (ou circuit FPGA (Field-Programmable Gate Array) ou architecture hybride) pour en accélérer le temps de traitement. Nous réaliserons de multiples optimisations à différent niveaux en utilisant le concept de l'Approximate Computing.

  • Titre traduit

    Study of emotions through real-time analysis of microexpressions based on computer vision


  • Résumé

    Based on computer vision techniques, the objective of this thesis is to establish a non-contact and real-time emotion recognition system. It will have to meet several of the general constraints associated with consumer applications: robustness and flexibility, low cost, simple use and the ability to be embedded at a lower energy cost. The rendering of emotions through facial expressions is not cultural but universal. Thus, basic emotions are generally divided into six categories. Recently these expressions have also been divided into two classes: macro and micro-expressions. Micro-expressions occur over a period of 1/4 to 1/25 of a second. They are involuntary and reveal the person's true emotions. However, the location and analysis of these events is very complicated due to their short duration and low intensity. This thesis project will be based on a detailed bibliographic study. Initially, a fast camera (200 frames/s) will be used to capture microexpressions. A new database will be created under real conditions of human-machine interaction. Then, existing macro-expression recognition algorithms will be tested and improved on selected images/videos in order to generalize them to the case of microexpressions. Some new approaches specific to the analysis of microexpressions and using Machine Learning techniques will be studied and proposed. In a second step, Approximate Computing approaches for real-time emotion analysis and the implementation of a classification prototype will be studied. The recent concept of Approximate Computing involves how a computer system can improve (more energetically efficient, faster and less complex) by relaxing its accuracy requirements. In fact, many image processing applications are error-resistant, allowing the introduction of approximations into the calculation. Thus, an appropriate calculation paradigm has emerged, in which the accuracy of the calculation results can be compromised in favour of, for example, energy savings or improved execution performance. In this stage of the project, the algorithm will be reorganized in order to extract its parallelism. Intrinsic parallel calculations will be implemented on a GPU board (or FPGA (Field-Programmable Gate Array) or hybrid architecture) to accelerate processing time. We will perform multiple optimizations at different levels using the Approximate Computing concept.