Event and action recognition from thermal and 3D depth Sensing

par Adnan Salih Al Alwani

Thèse de doctorat en Informatique et applications

Sous la direction de Youssef Chahir.

Le président du jury était François Jouen.

Le jury était composé de Youssef Chahir, François Jouen, Abdelmalik Taleb-Ahmed, Charles Tijus, Alain Bretto, Luigi Lancieri.

Les rapporteurs étaient Abdelmalik Taleb-Ahmed, Charles Tijus.

  • Titre traduit

    Reconnaissance d’évènement en imagerie thermique et de profondeur


  • Résumé

    On assiste depuis quelques temps `a un regain d’intérêt pour un certain nombre de problèmes liés au domaine de l’analyse de l’activité humaine `a partir de caméras et de capteurs 3D et ceci pour plusieurs raisons dont principalement le d´développement de la technologie d’estimation de profondeur de Kinect et les caméras Time-Of-Flight. En outre, le caractère complémentaire de la profondeur et de l’information visuelle (RGB) fournies par ces dispositifs offre de nouvelles solutions potentielles aux problèmes classiques de la vision par ordinateur. Par ailleurs, la thermographie infrarouge (IRT), aussi connu comme l’imagerie thermique, est une technologie idéale pour garantir des résultats de mesures non intrusives probants en toutes circonstances pour un nombre croissant d’applications de s´écrite et de surveillance comme pour le diagnostic m´médical. L’analyse thermique affine la reconnaissance visuelle. Cependant, d´détecter `a la volée un ´évènement remarquable qui se distingue par son comportement temporel, dans les s´séquences vidéo reste un d´défi majeure. Ce problème est particulièrement difficile en raison d’´énormes variations dans les aspects visuels et de mouvement des objets et de la caméra, des occlusions, ainsi que la présence de bruit. L’objectif principal de cette thèse est d’apporter des contributions m´méthodologiques pour la d´détection des ´évènements `a partir de flux issus de caméras thermique et de caméras de profondeur Kinect. La première partie de nos contributions concerne le d´développement d’une plateforme de reconnaissance d’´évènement thermique basée sur l’extraction de motifs spatio-temporels `a partir de s´séries chronologiques avec une application d´ediee au domaine m´médical. Nous nous sommes intéresses particulièrement `a la d´détection de la douleur chez les bébés prématurés et nous avons introduit une nouvelle base de données (Pretherm) réalisée dans le cadre du projet ANR du même nom, avec des vidéos de bébés prématurés de l’hôpital CHU de Caen. Pour caractériser le motif d’intérêt dans un signal monodimensionnel, nous avons proposé d’utiliser un descripteur basé sur les motifs binaires locaux non redondants (ou résiduels). Nous avons ´également d´défini une nouvelle m´méthode basée sur la persistance topologique pour filtrer et ordonner les valeurs critiques. Les deux m´méthodes ont ´et´e validés sur le corpus de s´séquences thermiques représentant la douleur et non douleur chez les enfants prématurés, grâce aux m´méthodes d’apprentissage statistique automatique suivants : Les réseaux de neurones (avec Extreme Learning Machines) et les m´méthodes a noyaux (avec Support Vector Machines). Dans la seconde partie de la thèse, nous avons ´étudie le problème de la reconnaissance automatique d’action humaine `a partir de caméras `a capteur de profondeur type Kinect. Nous nous sommes concentrés sur le d´développement de descripteurs spatio-temporels pertinents qui caractérisent au mieux l’action humaine et qui permettent de bien identifier la nature de l’action(classification). Nous passions en revue et comparions les techniques les plus populaires de l’´état de l’art pour la reconnaissance d’action. Dans un premier volet, nous nous sommes orient ´es vers l’analyse des angles des articulations et de leurs trajectoires. `a chaque angle d’articulation est associée une trajectoire au cours de l’action. La trajectoire d’une action donnée est ainsi d´décomposée en une suite de trajectoires ´élémentaires permettant la création d’un vocabulaire visuel compact et la construction d’un automate de reconnaissance d’actions modélise par un modèle de Markov caché (HMM). Pour pallier la sensibilité `a la rotation et aux variations locales des trajectoires, nous avons proposé une seconde approche basée sur les harmoniques sphériques (SHs). Ces derniers ´étant une description fréquentielle de l’image sphérique, le spectre est alors utilise comme descripteur, de structure de l’environnement dont la dimension est très faible, qui servira pour apprendre et reconnaitre les poses. Chaque catégorie est ainsi caractérisée par une distribution de probabilité de spectres d’harmoniques sphériques. Ensuite, pour améliorer la précision et la convergence des calculs, nous avons utilise une représentation compacte en utilisant les harmoniques sphériques sous une forme quadratique. Finalement, les techniques proposées permettent d’obtenir une performance meilleure ou semblable par rapport `a l’´etat de l’art, sur des bases de données représentant une grande diversité d’actions 3D (MSR Action 3D , UTKinect Action , Florence Action, et G3D).


  • Résumé

    Modern computer vision algorithms try to understand the human activity using 3D visible sensors. However, there are inherent problems using 2D visible sensors as a data source. First, visible light images are sensitive to illumination changes and background clutter. Second, the 3D structural information of the scene is degraded when mapping the 3D scene to 2D images. Recently, the easy access to the RGBD data at real-time frame rate is leading to a revolution in perception and inspired many new research. Time of Flight (ToF) and multi-view sensors have been used to model the 3D structure of the scene. Otherwise, infrared thermography (IRT), also known as thermal imaging, is an ideal technology to investigate thermal anomalie under different circumstances because it provides complete thermal images of an object with no physical attachments (nonintrusive). IRT is now being introduced to a wide range of different applications, such as medical diagnostic and surveillance. However, finding meaningful features from a time series data from thermal video is still a challenging problem, especially for event detection. This problem is particularly hard due to enormous variations in visual and motion appearance of object, moving background, occlusions and thermal noise. In this thesis, we propose a framework for the detection of visual events in thermal video and 3d human actions in RGBD data. Despite differences in the applications, the associated fundamental problems share numerous properties, for instance the necessity of handling vision-based approach for the automatic recognition of events. The first part of the thesis deals with the recognition of events in thermal video. In this context, the use of time series is challenging due to the graphical nature which exposes hidden patterns and structural changes in data. In this study, we investigated the use of visual texture patterns for time series classification. Our principal aim was to develop a general framework for time series data mining based on event analysis with an application to the medical domain. In particular, we are interested to pain/no-pain detection using parametric statistics and shape descriptors in order to analyze and to classify time 2D distribution data sets. We first extracted automatically thermal-visual facial features from each face considered as the region of interest (ROI) of the image. We proposed two feature descriptors for the signal pattern of interest (POI) which efficiently exploits the dependence between time and frequency in one-dimension (1D) signal. The original signal is extracted directly from local patch in ROI. The first method is based on non-redundant temporal local binary pattern (NRTLBP). The second approach propose a topological persistence descriptor (TP) for extracting and filtering local extrema of 1D signal. Local minima and local maxima are extracted, paired, and sorted according to their persistence. The final representation of an event is a completely new feature vector of all paired critical values. These features provide many benefits for many applications to get a fast estimation of the event in dynamic time series data. Both methods are validated using an Extreme Learning Machine (ELM) and Support vector Machine (SVM) classifiers. Experimental results on a real thermal-based data set ”Pain in Preterm Infants” (PPI), which is captured in a real condition monitoring environment, show that the proposed methods successfully capture temporal changes in events and achieve higher recognition rates. PPI dataset was developed in the context of Infant pain project, a french project supported by the French National Research Agency Projects for science (ANR). _ In the second part of the thesis, we investigate the problem of recognizing human activities in different application scenarios: controlled video environment( e. G. Indoor surveillance) and specially depth or skeletal data (e. G. Captured by Kinect). We focus on developing spatio-temporal features, and applying these features to identify human activities from a sequence of RGB-D images, i. E. ,color images with depth information. First, we proposed a view-invariant approach which use joint angles and relative joint positions as features. These features are quantized into posture visual words and their temporal transitions are encoded as observation symbols in a Hidden Markov Model (HMM). To eliminate rotation dependence in skeletal descriptors, we proposed an approach that combines the covariance descriptor and the spherical harmonics (SHs). The harmonic representation of 3d shape descriptors is adapted to skeleton joint-based human action recognition. To improve the accuracy and the convergence speed of the SHs solutions, we proposed an extension of the model, using quadratic spherical harmonics (QSH) representation, to encode pose information in the spatiotemporal space. These SHs representations are compact and discriminating. For the recognition task, we used ELM classifier. Our experimental results on a number of popular 3d action datasets show significant achievements in terms of accuracy, scalability and efficiency in comparison to alternate methods, of the state-of-the-art.

Consulter en bibliothèque

La version de soutenance existe sous forme papier

Informations

  • Détails : 1 vol. (VII-110 f.)
  • Annexes : Bibliogr. 116 ref. Index

Où se trouve cette thèse ?

  • Bibliothèque : Université de Caen Normandie. Bibliothèque Rosalind Franklin (Sciences-STAPS).
  • Non disponible pour le PEB
  • Cote : TCAS-2016-3
  • Bibliothèque : Université de Caen Normandie. Bibliothèque Rosalind Franklin (Sciences-STAPS).
  • Disponible pour le PEB
  • Cote : TCAS-2016-3bis
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.