L'IA pour la e-santé : conception d'outils d'Intelligence Artificielle robustes pour l'analyse de données de dispositif médicaux portables

AI for e-Health : Robust Artificial Intelligence Models for the Analysis of Wearable Medical Devices Data

• Auteur / Autrice : Hava Chaptoukaev
• Direction : Maria Alejandra Zuluaga Valencia
• Type : Thèse de doctorat
• Discipline(s) : Sciences de l'ingénieur
• Date : Soutenance le 31/03/2025
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-....)
• Partenaire(s) de recherche : Laboratoire : Institut EURECOM (Sophia-Antipolis, Alpes-Maritimes ; 1992-....)
• Jury : Président / Présidente : Julie Josse
• Jury : Examinateurs / Examinatrices : Maria Vakalopoulou
• Jury : Rapporteurs / Rapporteuses : Gustavo Carneiro, Marc Niethammer
• DOI : 10.70675/d6c484f4zea27z4fedzac4dzd1a94b0332a6

Mots clés

Mots clés contrôlés

Biocapteurs

Intelligence artificielle en médecine

Apprentissage supervisé (intelligence artificielle)

Collecte de données

Stress

Mots clés libres

E-Santé

Données manquantes

Données physiologiques

E-Health

Missing data

Physiological data

Résumé

L'analyse basée sur l'intelligence artificielle (IA) des données multimodales collectées à l'aide de capteurs portables, peu coûteux et accessibles, apparaît comme une opportunité prometteuse pour démocratiser l'accès aux soins de santé. Elle faciliterait la prévention de divers problèmes de santé et réduirait la nécessité d'examens cliniques coûteux, difficilement accessibles à une grande partie de la population. Toutefois, la fiabilité et la robustesse des algorithmes d'IA, souvent négligées dans la recherche sur les soins de santé, suscitent encore des inquiétudes. D'une part, les algorithmes existants sont entraînés sur des données peu représentatives du monde réel, et d'autre part, leurs architectures les rendent vulnérables aux diverses perturbations couramment rencontrées une fois déployés. L'objectif de ce doctorat est de développer des méthodes innovantes, robustes et fiables pour l'analyse des données de capteurs portables - avec un accent particulier sur la robustesse aux données manquantes. Nous voulons proposer des méthodes multimodales évaluées sur données réelles et conçues pour être adaptées à diverses applications médicales - allant de l'analyse des signaux physiologiques à l'analyse d'imagerie multimodale. Nous proposons 5 contributions pour atteindre cet objectif. (1) Nous présentons StressID, un jeu de données conçu pour l'identification du stress à partir de données unimodales et multimodales, que nous avons rendu public. Il contient des vidéos, des enregistrements audio et des signaux physiologiques collectés à l'aide de capteurs portables. Il comprend les données de 65 participants, et donc un large éventail de réponses. Il s'agit d'un support précieux pour la création d'applications fiables et robustes pour l'identification du stress. (2) Nous proposons une suite de modèles pour l'analyse de StressID, qui est représentative de l'état de l'art actuel dans le domaine, et a pour but de faciliter les contributions futures en fournissant un point de départ pour les chercheurs. Nous analysons les limitations des modèles existants, et identifions la robustesse aux données manquantes comme un aspect essentiel pour exploiter les avantages des données multimodales. (3) Nous examinons si la riche littérature existante sur les valeurs manquantes peut être exploitée pour remédier à ce problème. Nous étudions les méthodes existantes pour traiter les données manquantes, et évaluons leur fiabilité dans les applications de soins de santé. Cela nous permet d'identifier les forces et les limites des approches existantes, pour finalement dériver un ensemble de recommandations pour traiter correctement et de manière responsable les valeurs manquantes dans les applications de santé. (4) Sur la base des considérations ainsi identifiées, nous proposons PicMi, un modèle sans imputation pour l'apprentissage supervisé avec des valeurs manquantes dans des données tabulaires. Il utilise une architecture invariante par permutation pour traiter des entrées de dimensions variables ; intègre les motifs de valeurs manquantes comme condition dans son apprentissage pour assurer la robustesse à divers scénarios de valeurs manquantes ; et est localement interprétable. (5) Nous étendons notre approche à l'apprentissage multimodal avec des modalités manquantes et présentons HyperMM, une méthode conçue pour traiter les modalités manquantes sans utiliser de reconstruction - contrairement aux solutions existantes. Nous proposons une stratégie pour l'entraînement d'un extracteur de caractéristiques universel en utilisant un hypernetwork conditionnel, et proposons un réseau neuronal invariant par permutation qui peut gérer des entrées de dimensions variables pour traiter les caractéristiques extraites. Notre méthode est intégrée de bout-en-bout et peut être utilisée dans diverses applications, contribuant ainsi au développement de systèmes d'intelligence artificielle plus fiables et plus robustes dans le domaine des soins de santé.

Artificial Intelligence (AI) based analysis of multimodal data collected using inexpensive and accessible wearable sensors is emerging as a promising opportunity to democratise access to healthcare. It would facilitate the prevention of various health problems and reduce the need for expensive clinical examinations that are difficult to access for a large portion of the population. However, concerns remain about the reliability and robustness of AI algorithms that are frequently overlooked in healthcare research. Yet, these aspects are crucial to the deployment of AI in medical applications. On one hand, most existing algorithms are trained on data that is hardly representative of the real world, and on the other, their architectures make them vulnerable to various perturbations commonly encountered in real data, once deployed. The aim of this PhD project is to develop innovative, robust and reliable methodologies for the analysis of wearable sensor data - with a particular focus on robustness to missing data. Our aim is to design novel multimodal methodologies that are evaluated on real sensor data and designed to be transposed and adapted to various medical applications - ranging from physiological signals analysis to the analysis of multimodal imaging data. We propose 5 contributions to achieve this goal.(1) We introduce StressID, a new dataset specifically designed for stress identification from unimodal and multimodal data, that we made publicly available for researchers. It contains videos, audio recordings, and physiological signals collected in ambulatory settings using wearable sensors. As it is collected from 65 participants, it includes a wide range of participant's responses. As such, it is a valuable support for building reliable and robust applications for stress identification. (2) We propose an open-source suite of baseline models for the analysis of StressID, that is representative of the current state-of-the-art in the domain, and facilitates future contributions to this domain by providing a starting point for researchers who wish to use the dataset. We investigate the next steps needed to ensure reliability and robustness of existing models, and identify robustness to missing data as an essential aspect to exploiting the benefits of real-life multimodal datasets. (3) We explore whether the rich existing literature on missing values in tabular data can be leveraged to address this limitation. We conduct a comprehensive evaluation of existing methods for dealing with missing data, and assess their reliability within healthcare applications. This enables us to identify the strengths and limitations of existing approaches, to ultimately derive a set of guidelines to properly and responsibly handle missing values in healthcare applications. (4) Based on the considerations thus identified, we propose PicMi, an end-to-end imputation-free model designed for supervised learning with missing values in tabular data, that uses a permutation-invariant architecture to handle inputs of varying dimensions; integrates missing value patterns as a condition in its objective function to ensure robustness to various missing values scenarios; and is locally interpretable. (5) We extend our approach to multimodal learning with missing modalities, and introduce HyperMM, a framework designed for handling missing modalities without using reconstruction before training - as opposed to existing solutions. We introduce a novel strategy for training a universal feature extractor using a conditional hypernetwork, and propose a permutation invariant neural network that can handle inputs of varying dimensions to process the extracted features, in a two-phase task-agnostic framework. Our method is end-to-end and can be used in various applications, and thus contributes to the development of more reliable and robust AI systems in healthcare.