Méthodes d'apprentissage appliquées à l'analyse du comportement humain par vision

Learning methods applied to vision-based human behaviour analysis

• Auteur / Autrice : Astrid Orcesi
• Direction : Quoc Cuong Pham
• Type : Thèse de doctorat
• Discipline(s) : Sciences du traitement du signal et des images
• Date : Soutenance le 14/06/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Sciences de l'ingénierie et des systèmes (2020-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'intégration des systèmes et des technologies (Gif-sur-Yvette, Essonne ; 2001-....)
• Jury : Président / Présidente : David Picard
• Jury : Examinateurs / Examinatrices : Alice Caplier, Thierry Chateau, Adrien Chan-Hon-Tong
• Jury : Rapporteurs / Rapporteuses : Alice Caplier, Thierry Chateau

Mots clés

Mots clés contrôlés

Comportement humain

Apprentissage automatique

Vision par ordinateur

Mots clés libres

Vision

Apprentissage

Comportement humain

Reconnaissance d'activités

Détection d'interactions

Vision

Learning

Human behavior

Activity recognition

Interaction detection

Résumé

L'analyse du comportement humain par vision est une thématique de recherche très étudiée car malgré les progrès apportés par l'apprentissage profond en vision par ordinateur, comprendre finement ce qui est en train de se passer dans une scène est une tâche loin d'être résolue car elle présente un très haut niveau sémantique.Dans cette thèse nous nous intéressons à deux applications : la reconnaissance d'activités longues temporellement dans des vidéos et la détection d'interaction dans des images.La première contribution de ces travaux est l'élaboration de la première base de données d'activités quotidiennes présentant de fortes variabilités intra-classe.La deuxième contribution est la proposition d'une nouvelle méthode de détection d'interaction en une seule passe sur l'image ce qui lui permet d'être beaucoup plus rapide que les méthodes de l'état de l'art en deux étapes et appliquant un raisonnement par paire d'instances.Enfin, la troisième contribution de cette thèse est la constitution d'un nouveau jeu de données d'interactions composé d'interactions à la fois entre des personnes et des objets mais également entre des personnes ce qui n'existait pas jusqu'à maintenant et qui permet pourtant une analyse des interactions humaines exhaustive. De manière à proposer des résultats de référence sur ce nouveau jeu de données, la précédente méthode de détection d'interactions a été améliorée en proposant un apprentissage multi-tâches ce qui permet d'obtenir les meilleurs résultats sur la base de données publique largement utilisée par la communauté.

The analysis of human behavior by vision is a strong studied research topic. Indeed despite the progress brought by deep learning in computer vision, understanding finely what is happening in a scene is a task far from being solved because it presents a very high semantic level.In this thesis we focus on two applications: the recognition of temporally long activities in videos and the detection of interaction in images.The first contribution of this work is the development of the first database of daily activities with high intra-class variability.The second contribution is the proposal of a new method for interaction detection in a single shot on the image which allows it to be much faster than the state of the art two-step methods which apply a reasoning by pair of instances.Finally, the third contribution of this thesis is the constitution of a new interaction dataset composed of interactions both between people and objects and between people which did not exist until now and which allows an exhaustive analysis of human interactions. In order to propose baseline results on this new dataset, the previous interaction detection method has been improved by proposing a multi-task learning which reaches the best results on the public dataset widely used by the community.