Biosignaux pour l’évaluation du niveau de stress du conducteur : sélection des variables fonctionnelles et caractérisation fractale de l’activité électrodermale

Biosignals for driver's stress level assessment : functional variable selection and fractal characterization

• Auteur / Autrice : Neska El Haouij
• Direction : Jean-Michel Poggi, Meriem Jaidane
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 04/07/2018
• Etablissement(s) : Université Paris-Saclay (ComUE) en cotutelle avec École nationale d'ingénieurs de Tunis (Tunisie)
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de mathématiques d'Orsay (1998-....) - Unité de recherche Signaux et systèmes (Tunis) - CEA LinkLab (Tunis)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Paris-Sud (1970-2019)
• Jury : Président / Présidente : Pascal Massart
• Jury : Examinateurs / Examinatrices : Jean-Michel Poggi, Meriem Jaidane, Pascal Massart, Philippe Besse, Nabil Gmati, Mathilde Mougeot, Anne Gégout-Petit
• Jury : Rapporteurs / Rapporteuses : Philippe Besse, Nabil Gmati

Mots clés

Mots clés contrôlés

Résistance électrocutanée

Forêts d'arbres de décision

Traitement du signal

Automobilistes

Mots clés libres

Analyse fractale

Biosignaux

Ondelettes

Sélection de variables fonctionnelles

Expérience de conduite réelle

Biosignals

Functional variable selection

Fractal analysis

Wavelets

Real-World driving experience

Résumé

La sécurité et le confort dans une tâche de conduite automobile sont des facteurs clés qui intéressent plusieurs acteurs (constructeurs, urbanistes, départements de transport), en particulier dans le contexte actuel d’urbanisation croissante. Il devient dès lors crucial d'évaluer l'état affectif du conducteur lors de la conduite, en particulier son niveau de stress qui influe sur sa prise de décision et donc sur ses performances de conduite. Dans cette thèse, nous nous concentrons sur l'étude des changements de niveau de stress ressenti durant une expérience de conduite réelle qui alterne ville, autoroute et repos. Les méthodes classiques sont basées sur des descripteurs proposés par des experts, appliquées sur des signaux physiologiques. Ces signaux sont prétraités, les descripteurs ad-hoc sont extraits et sont fusionnés par la suite pour reconnaître le niveau de stress. Dans ce travail, nous avons adapté une méthode de sélection de variables fonctionnelles, basée sur les forêts aléatoires, avec élimination récursive des descripteurs (RF-RFE). En effet, les biosignaux, considérés comme variables fonctionnelles, sont tout d’abord projetés sur une base d’ondelettes. L’algorithme RF-RFE est ensuite utilisé pour sélectionner les groupes d’ondelettes, correspondant aux variables fonctionnelles, selon un score d’endurance. Le choix final de ces variables est basé sur ce score proposé afin de quantifier la capacité d’une variable à être sélectionnée et dans les premiers rangs. Dans une première étape, nous avons analysé la fréquence cardiaque (HR), électromyogramme (EMG), fréquence respiratoire (BR) et activité électrodermale (EDA), issus de 10 expériences de conduite menées à Boston, de la base de données du MIT, drivedb. Dans une seconde étape, nous avons conduit 13 expériences in-vivo similaires, en alternant conduite dans la ville et sur autoroute dans la région de Grand Tunis. La base de données résultante, AffectiveROAD contient -comme dans drivedb- les biosignaux tels que le HR, BR, EDA mais aussi la posture. Le prototype de plateforme de réseau de capteurs développé, a permis de collecter des données environnementales à l’intérieur du véhicule (température, humidité, pression, niveau sonore et GPS) qui sont également inclues dans AffectiveROAD. Une métrique subjective de stress, basée sur l’annotation d’un observateur et validée a posteriori par le conducteur au vu des enregistrements vidéo acquis lors de l’expérience de conduite, complète cette base de données. Nous définissons ici la notion de stress par ce qui résume excitation, attention, charge mentale, perception de complexité de l'environnement par le conducteur. La sélection de variables fonctionnelles dans le cas de drivedb a révélé que l'EDA mesurée au pied est l'indicateur le plus révélateur du niveau de stress du conducteur, suivi de la fréquence respiratoire. La méthode RF-RFE associée à des descripteurs non experts, conduit à des performances comparables à celles obtenues par la méthode basée sur les descripteurs sélectionnés par les experts. En analysant les données d’AffectiveROAD, la posture et l’EDA mesurée sur le poignet droit du conducteur ont émergé comme les variables les plus pertinentes. Une analyse plus approfondie de l'EDA a par la suite été menée car ce signal a été retenu, pour les deux bases de données, parmi les variables fonctionnelles sélectionnées pour la reconnaissance du niveau de stress. Ceci est cohérent avec diverses études sur la physiologie humaine qui voient l’EDA comme un indicateur clé des émotions. Nous avons ainsi exploré le caractère fractal de ce biosignal à travers une analyse d'auto-similarité et une estimation de l'exposant de Hurst basée sur les ondelettes. L'analyse montre un comportement d’auto-similarité des enregistrements de l'EDA pour les deux bases de données, sur une large gamme d’échelles. Ceci en fait un indicateur potentiel temps réel du stress du conducteur durant une expérience de conduite réelle.

The safety and comfort in a driving task are key factors of interest to several actors (vehicle manufacturers, urban space designers, and transportation service providers), especially in a context of an increasing urbanization. It is thus crucial to assess the driver’s affective state while driving, in particular his state of stress which impacts the decision making and thus driving task performance. In this thesis, we focus on the study of stress level changes, during real-world driving, experienced in city versus highway areas. Classical methods are based on features selected by experts, applied to physiological signals. These signals are preprocessed using specific tools for each signal, then ad-hoc features are extracted and finally a data fusion for stress-level recognition is performed. In this work, we adapted a functional variable selection method, based on Random Forests Recursive Feature Elimination (RF-RFE). In fact, the biosignals considered as functional variables, are first decomposed using wavelet basis. The RF-RFE algorithms are then used to select groups of wavelets coefficients, corresponding to the functional variables, according to an endurance score. The final choice of the selected variables relies on this proposed score that allows to quantify the ability of a variable to be selected and this, in first ranges. At a first stage, we analyzed physiological signals such as: Heart Rate (HR), Electromyogram (EMG), Breathing Rate (BR), and the Electrodermal Activity (EDA), related to 10 driving experiments, extracted from the open database of MIT: drivedb, carried out in Boston area. At a second stage, we have designed and conducted similar city and highway driving experiments in the greater Tunis area. The resulting database, AffectiveROAD, includes, as in drivedb, biosignals as HR, BR and EDA and additional measurement of the driver posture. The developed prototype of the sensors network platform allowed also to gather data characterizing the vehicle internal environment (temperature, humidity, pressure, sound level, and geographical coordinates) which are included in AffectiveROAD database. A subjective stress metric, based on driver video-based validation of the observer’s annotation, is included in AffectiveROAD database. We define here the term stress as the human affective state, including affect arousal, attention, mental workload, and the driver’s perception of the environment complexity. The functional variable selection, applied to drivedb, revealed that the EDA captured on foot followed by the BR, are relevant in the driver’s stress level classification. The RF-RFE method along with non-expert based features offered comparable performances to those obtained by the classical method. When analyzing the AffectiveROAD data, the posture and the EDA captured on the driver’s right wrist emerged as the most enduring variables. For both databases, the placement of the EDA sensor came out as an important consideration in the stress level assessment. A deeper analysis of the EDA was carried out since its emergence as a key indicator in stress level recognition, for the two databases. This is consistent with various human physiology studies reporting that the EDA is a key indicator of emotions. For that, we investigated the fractal properties of this biosignal using a self-similarity analysis of EDA measurements based on Hurst exponent (H) estimated using wavelet-based method. Such study shows that EDA recordings exhibits self-similar behavior for large scales, for the both databases. This proposes that it can be considered as a potential real-time indicator of stress in real-world driving experience.