Reconnaissance automatique des expressions faciales en présence d’occultations partielles du visage

Facial expression recognition under partial occlusions

• Auteur / Autrice : Delphine Poux
• Direction : Chaabane Djeraba
• Type : Thèse de doctorat
• Discipline(s) : Informatique et applications
• Date : Soutenance le 01/09/2021
• Etablissement(s) : Université de Lille (2018-2021)
• Ecole(s) doctorale(s) : Ecole doctorale Mathématiques, sciences du numérique et de leurs interactions (Lille)
• Partenaire(s) de recherche : Laboratoire : Centre de Recherche en Informatique, Signal et Automatique de Lille
• Jury : Président / Présidente : Laetitia Jourdan
• Jury : Examinateurs / Examinatrices : Ioan Marius Bilasco, Nacim Ihaddadene, Saïda Bouakaz, Bruno Bachimont, Hichem Sahbi, Matthieu Cord
• Jury : Rapporteurs / Rapporteuses : Yannick Benezeth, Frédéric Jurie

Mots clés

Mots clés contrôlés

Reconstruction d'image

Reconnaissance de l'activité humaine (informatique)

Reconnaissance automatique des émotions

Mots clés libres

Informatique affective

Affective computing

Behavior

Movement analysis

Movement reconstruction

Résumé

La reconnaissance automatique des expressions faciales peut s'avérer très utile pour diverses applications dans des domaines variés tels que la santé, la sécurité routière ou encore le marketing. Bien que des algorithmes permettent aujourd'hui une très bonne reconnaissance des expressions faciales dans un environnement contraint (pose frontale, pas d'occultation, bonne luminosité), la reconnaissance automatique des expressions faciales reste encore complexe dans un cadre naturel où l'on se retrouve confronté à certains défis. Parmi ces défis, les occultations rendent la tâche particulièrement difficile car elles ajoutent du bruit aux images et masquent une partie de l'information. Pour répondre à cette problématique, différentes solutions ont été proposées. Ces solutions peuvent être regroupées sous deux catégories : les solutions qui se concentrent sur les régions visibles du visage et celles qui reconstruisent les zones cachées. Les solutions de l'état de l'art sont principalement basées sur des éléments de texture, certaines solutions s'intéressent à la géométrie du visage mais très peu s'intéressent au mouvement. Or, le mouvement semble particulièrement adapté grâce à ses différentes propriétés : sa propagation et sa cohérence locale. Les travaux proposés dans ce manuscrit démontrent l'intérêt du mouvement pour reconnaître les expressions faciales en présence d'occultations partielles du visage.

Automatic facial expression recognition is useful to create applications in various domains such as health, road safety or marketing where feedback on user state is relevant. Despite very good results in controlled settings (frontal face, no occlusion, good illumination), facial expression recognition is still today challenging under unconstrained environment. Among the different challenges, occlusions are particularly difficult to handle as they add noisy elements on the images and hide parts of the information. Several solutions have been proposed to address this issue. These solutions can be roughly categorized in two : those which focus on visible regions of the face and those which try to reconstruct the hidden part. State-of-the-art solutions are mainly based on texture or, sometimes, geometry and few are based on movement. However, movement seems to be particularly adapted under occlusions thanks to different motion properties such as close range propagation and local coherency. In this manuscript, we show the interest of using movement to overcome the issue of occlusions for the task of facial expression recognition.