Apprentissage profond pour la reconnaissance d’actions en vidéos

Deep learning for action recognition in videos

• Auteur / Autrice : Ahmed Mazari
• Direction : Hichem Sahbi
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 22/09/2020
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : LIP6 (1997-....)
• Jury : Président / Présidente : Nicole Vincent
• Jury : Examinateurs / Examinatrices : Catherine Achard, Michel Crucianu
• Jury : Rapporteurs / Rapporteuses : Frédéric Dufaux, Hichem Snoussi

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Reconnaissance gestuelle

Analyse visuelle des données

Vidéos sur Internet

Apprentissage profond

Mots clés libres

Apprentissage de représentations vidéos

Apprentissage d'agrégations multiples

Pooling hiérarchique

Construction de graphes

Pooling et Convolution sur les graphes

Apprentissage profond géométrique

Deep Video Representations

Multiple Aggregation Learning

Hierarchical Pooling

Graphs Construction

Graph Pooling and Convolution

Geometric Deep Learning

Résumé

De nos jours, les contenus vidéos sont omniprésents grâce à Internet et les smartphones, ainsi que les médias sociaux. De nombreuses applications de la vie quotidienne, telles que la vidéo surveillance et la description de contenus vidéos, ainsi que la compréhension de scènes visuelles, nécessitent des technologies sophistiquées pour traiter les données vidéos. Il devient nécessaire de développer des moyens automatiques pour analyser et interpréter la grande quantité de données vidéo disponibles. Dans cette thèse, nous nous intéressons à la reconnaissance d'actions dans les vidéos, c.a.d au problème de l'attribution de catégories d'actions aux séquences vidéos. Cela peut être considéré comme un ingrédient clé pour construire la prochaine génération de systèmes visuels. Nous l'abordons avec des méthodes d'intelligence artificielle, sous le paradigme de l'apprentissage automatique et de l'apprentissage profond, notamment les réseaux de neurones convolutifs. Les réseaux de neurones convolutifs actuels sont de plus en plus profonds, plus gourmands en données et leur succès est donc tributaire de l'abondance de données d'entraînement étiquetées. Les réseaux de neurones convolutifs s'appuient également sur le pooling qui réduit la dimensionnalité des couches de sortie (et donc atténue leur sensibilité à la disponibilité de données étiquetées).

Nowadays, video contents are ubiquitous through the popular use of internet and smartphones, as well as social media. Many daily life applications such as video surveillance and video captioning, as well as scene understanding require sophisticated technologies to process video data. It becomes of crucial importance to develop automatic means to analyze and to interpret the large amount of available video data. In this thesis, we are interested in video action recognition, i.e. the problem of assigning action categories to sequences of videos. This can be seen as a key ingredient to build the next generation of vision systems. It is tackled with AI frameworks, mainly with ML and Deep ConvNets. Current ConvNets are increasingly deeper, data-hungrier and this makes their success tributary of the abundance of labeled training data. ConvNets also rely on (max or average) pooling which reduces dimensionality of output layers (and hence attenuates their sensitivity to the availability of labeled data); however, this process may dilute the information of upstream convolutional layers and thereby affect the discrimination power of the trained video representations, especially when the learned action categories are fine-grained.