Reconnaissance robuste d'activités humaines par vision

Robust vision based activity detection and recognition

• Auteur / Autrice : Geoffrey Vaquette
• Direction : Catherine Achard, Laurent Lucat
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 14/02/2018
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris (2000-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Vision et Ingénierie des contenus (Gif sur Yvette)
• Jury : Président / Présidente : Jean-Luc Zarader
• Jury : Examinateurs / Examinatrices : Mohamed Daoudi
• Jury : Rapporteurs / Rapporteuses : Antoine Manzanera, Mounim El Yacoubi

Mots clés

Mots clés contrôlés

Algorithmes

Reconnaissance des formes (informatique)

Analyse de scènes (informatique)

Traitement d'images -- Techniques numériques

Mots clés libres

Détection d’activités

Fusion d’informations

Transformée de HOUGH

Jeu de données

Segmentation

Détection hiérarchique

Activity detection

Information fusion

HOUGH transform

Database

Segmentation

Hierarchical detection

Résumé

Cette thèse porte sur la segmentation supervisée d'un flux vidéo en fragments correspondant à des activités de la vie quotidienne. En différenciant geste, action et activité, cette thèse s'intéresse aux activités à haut niveau sémantique telles que ''Cuisiner'' ou ''Prendre son repas'' par opposition à des actions comme ''Découper un aliment''. Pour cela, elle s'appuie sur l'algorithme DOHT (Deeply Optimized Hough Transform), une méthode de l'état de l'art utilisant un paradigme de vote (par transformée de Hough). Dans un premier temps, nous adaptons l'algorithme DOHT pour fusionner les informations en provenance de différents capteurs à trois niveaux différents de l'algorithme. Nous analysons l'effet de ces trois niveaux de fusion et montrons son efficacité par une évaluation sur une base de données composée d'actions de la vie quotidienne. Ensuite, une étude des jeux de données existant est menée. Constatant le manque de vidéos adaptées à la segmentation et classification (détection) d'activités à haut niveau sémantique, une nouvelle base de données est proposée. Enregistrée dans un environnement réaliste et dans des conditions au plus proche de l'application finale, elle contient des vidéos longues et non découpées adaptées à un contexte de détection. Dans un dernier temps, nous proposons une approche hiérarchique à partir d'algorithmes DOHT pour reconnaître les activités à haut niveau sémantique. Cette approche à deux niveaux décompose le problème en une détection non-supervisée d'actions pour ensuite détecter les activités désirées.

This thesis focuses on supervised activity segmentation from video streams within application context of smart homes. Three semantic levels are defined, namely gesture, action and activity, this thesis focuses mainly on the latter. Based on the Deeply Optimized Hough Transform paridigm, three fusion levels are introduced in order to benefit from various modalities. A review of existing action based datasets is presented and the lack of activity detection oriented database is noticed. Then, a new dataset is introduced. It is composed of unsegmented long time range daily activities and has been recorded in a realistic environment. Finaly, a hierarchical activity detection method is proposed aiming to detect high level activities from unsupervised action detection.