Mesure sans contact de l'activité cardiaque par analyse du flux vidéo issu d'une caméra numérique : extraction de paramètres physiologiques et application à l'estimation du stress

Assessment of physiological parameters by non-contact means to quantify mental stress states

• Auteur / Autrice : Frédéric Bousefsaf
• Direction : Alain Pruski, Choubeila Maaoui
• Type : Thèse de doctorat
• Discipline(s) : Automatique, Traitement du Signal et des Images, Génie Informatique
• Date : Soutenance le 26/11/2014
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Conception, Optimisation et Modélisation des Systèmes (Metz)
• Jury : Président / Présidente : Jacques Duchêne
• Jury : Examinateurs / Examinatrices : François Cabestaing
• Jury : Rapporteurs / Rapporteuses : Etienne Colle, Norbert Noury

Mots clés

Mots clés contrôlés

Mesure sans contact

Pléthysmographie

Télémédecine

Webcams

Traitement du signal -- Techniques numériques

Mots clés libres

Mesures des signaux physiologiques

Mesures sans contact

Signaux photopléthysmographiques

Webcams

Mesures du stress

Résumé

Le sujet des travaux de recherche présenté dans cette thèse de doctorat concerne la conception et le développement d’une approche basée sur le traitement du signal et des images permettant de mesurer des signaux physiologiques d’une personne située à distance du capteur. Les différents procédés proposés dans ce travail cherchent à répondre à des besoins particuliers du domaine de l’e-santé, de la télémédecine et de l’informatique affective. Les mesures sans contact de paramètres physiologiques sont utilisables dans de nombreux champs d’application, allant des services d’urgence jusqu’aux sciences du sport, où le rythme cardiaque est surveillé pendant un effort physique intense. L’approche développée est basée sur le calcul des signaux photopléthysmographiques (PPG) obtenus sur des visages humains et enregistrés par une webcam. Ces derniers sont ensuite analysés par une transformée en ondelettes continue afin d’en extraire le rythme cardiaque et la fréquence respiratoire ainsi que la variabilité cardiaque. Des opérations de traitement du signal et des images ont été développées pour améliorer la robustesse du système en le rendant moins sensible aux mouvements et aux fluctuations de l’éclairage. La fréquence respiratoire est estimée à partir de la variabilité cardiaque par le phénomène d’arythmie sinusale respiratoire, la variation naturelle de la fréquence cardiaque entrainée par la respiration. Les phénomènes de vasoconstriction et vasodilatation qui modifient les amplitudes du signal PPG sont aussi détectées par la méthode que nous proposons dans ces travaux de thèse. Les performances du système ont été évaluées à partir d’un ensemble de capteurs standards en contact sur 12 individus en bonne santé qui ont participé aux expériences. Les résultats montrent que les mesures dérivées de la webcam et des capteurs en contact sont en étroite concordance. Le second volet de ces travaux de recherche concerne la reconnaissance du stress basée sur les données physiologiques quantifiées précédemment. La webcam est ici utilisée pour mesurer et estimer l’état de tension mentale d’une personne. Les amplitudes du signal PPG et la variabilité de la fréquence cardiaque reflètent l’état du système nerveux autonome et ont été utilisées pour calculer une courbe de stress. L’activité électrodermale a concurremment été mesurée par un capteur en contact pour évaluer la méthode que nous proposons. Une application a spécifiquement été développée en laboratoire pour successivement induire du stress et relaxer les participants. Les résultats indiquent que les mesures calculées à partir des données de la webcam sont en étroite corrélation avec l’activité électrodermale. La méthode présentée dans ces travaux permet de mesurer un ensemble de données physiologiques et estimer l’état de stress d’une personne à l’aide d’une webcam, fournissant ainsi une bonne alternative aux dispositifs conventionnels en contact

Photoplethysmographic (PPG) signals obtained from a webcam are analyzed through a continuous wavelet transform to assess the instantaneous pulse rate. The measurements are performed on human faces. Robust image and signal processing are introduced to collect only pixels that contain photoplethysmographic information and to remove major artifacts and trends on raw webcam PPG signals. The interbeat intervals are computed using a standard peak detection to form the instantaneous pulse rate. In addition, the respiration is recovered using the pulse rate series by respiratory sinus arrhythmia, the natural variation in pulse rate driven by the respiration. The amplitudes of the photoplethysmographic signal, which reflect relative changes in the vascular bed due to peripheral vasoconstriction or vasodilatation, are also measured. The presented algorithms are implemented on a mid-range computer and the overall method works in real-time. The performance of the proposed pulse and breathing rates assessment method was evaluated using approved contact probes on a set of 12 healthy subjects. Results show high degrees of correlation between physiological measurements even in the presence of motion. This work provides a motion-tolerant method that remotely measures the instantaneous pulse and breathing rates. Monitoring physiological signals via non-contact means presents a greater challenge in personal health care, telemedicine and affective computing. The second part of this thesis consists in assessing mental workload changes using the parameters assessed previously, i.e. the photoplethysmographic amplitude fluctuation and the pulse rate variability. These particular signals provide an estimation of the autonomic nervous system state. In order to validate the proposed method we have recorded, concurrently to the webcam curves, electrodermal activity during an interactive game that was developed to successively stress and relax the subject. We have specifically employed a computerized and interactive version of the STROOP color word test. The results exhibit a strong correlation between the webcam and contact skin conductance level traces and offer further support for the applicability of mental stress detection by remote and low-cost means, providing an alternative to conventional contact techniques