Deep learning pour le streaming adaptatif de vidéos à 360° en réalité virtuelle

Deep learning for adaptive 360° video streaming in virtual reality

• Auteur / Autrice : Quentin Guimard
• Direction : Lucile Sassatelli
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 18/12/2023
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire Informatique, signaux et systèmes (Sophia Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Patrick Le Callet
• Jury : Examinateurs / Examinatrices : Lucile Sassatelli, Patrick Le Callet, Gwendal Simon, Gabriel-Miro Muntean, Federica Battisti, Aljosa Smolic, Laura Toni
• Jury : Rapporteurs / Rapporteuses : Gwendal Simon, Gabriel-Miro Muntean, Federica Battisti

Mots clés

Mots clés contrôlés

Multimédias

Streaming (télécommunications)

Réalité virtuelle

Réseaux neuronaux (informatique)

Apprentissage profond

Mots clés libres

Apprentissage profond

Réseaux de neurones artificiels

Réalité virtuelle

Streaming

Régression

Multimedia

Deep learning

Artificial neural networks

Virtual reality

Streaming

Regression

Multimedia

Résumé

La réalité virtuelle (VR) a évolué de manière significative ces dernières années. Les casques immersifs devenant de plus en plus abordables et populaires, de nombreuses applications sont à l'horizon, des vidéos à 360° aux formations interactives en passant par les environnements virtuels collaboratifs. Cependant, pour atteindre des niveaux élevés de qualité perçue, la bande passante du réseau et les ressources de calcul nécessaires peuvent être supérieures de plusieurs ordres de grandeur à celles requises pour un contenu 2D traditionnel.Pour pallier ce problème, des stratégies de streaming qui adaptent le débit vidéo aux conditions du réseau et à l'orientation de la tête de la personne ont été mises en œuvre afin d'améliorer la qualité d'expérience. Étant donné que la plupart des algorithmes de débit adaptatif reposent sur l'utilisation d'une mémoire tampon vidéo suffisamment grande pour compenser les fluctuations de la bande passante, l'algorithme doit savoir où la personne regardera quelques secondes avant la lecture pour adapter correctement la qualité.La qualité d'expérience pour le streaming 360° dépend donc de la prédiction des mouvements de la tête en VR. Malheureusement, il s'agit d'un problème difficile en raison (i) du caractère aléatoire des mouvements humains, (ii) de la diversité des trajectoires de tête des personnes qui regardent des vidéos à 360°, ce qui entraîne une ambiguïté entre les trajectoires passées, et (iii) des nombreux facteurs qui influencent le comportement, l'attention et les mouvements de la personne en VR.Afin de concevoir des systèmes de streaming VR qui s'adaptent mieux à chaque personne, il est important de comprendre les différents facteurs, leurs interactions et leurs effets sur le comportement humain. La collecte et l'exploitation de nouvelles données relatives à ces facteurs pourraient aider à désambiguïser les trajectoires la tête et à améliorer leur prédiction.Ce travail est divisé en quatre contributions principales.Premièrement, nous avons proposé un nouveau framework de deep learning variationnel pour prédire de multiples trajectoires possibles de mouvements de tête afin de mieux prendre en compte la diversité des trajectoires. Nous avons montré que notre modèle surpasse les performances de concurrents adaptés du domaine de la conduite autonome, réduisant l'erreur jusqu'à 41 % sur quatre datasets.Nous avons ensuite proposé un nouveau simulateur de streaming 360° afin de mesurer les gains système de notre framework et de permettre de comparer facilement les stratégies de streaming adaptatif. Nous avons montré que la prédiction de trajectoires multiples conduit à une plus grande équité entre les usagers, avec des gains de qualité atteignant jusqu'à 10 % pour 20 à 30 % des personnes.En parallèle, nous avons mené des expériences avec des personnes et des analyses statistiques pour mieux comprendre l'interaction entre le contenu immersif, l'attention et les émotions. Nous avons observé que le degré d'activation physiologique de la personne était corrélé à l'attention portée aux objets, et nous avons quantifié les effets des émotions sur la prédictibilité des mouvements de la tête.Enfin, nous avons voulu tirer parti des données liées aux émotions afin d'apprendre de meilleures représentations et d'améliorer la prédiction des mouvements de la tête. Inspirés par les travaux récents sur la distillation cross-modale et les modèles de fondation multimodaux, nous avons commencé à travailler sur une nouvelle architecture de deep learning multimodale capable d'apprendre des représentations transférables de modalités qui ne sont disponibles qu'au moment de l'apprentissage. Nous avons obtenu des résultats préliminaires qui surpassent de 21 % l'état de l'art existant tout en réduisant considérablement le nombre de paramètres.

Virtual reality (VR) has evolved significantly in recent years. As head-mounted displays become more affordable and popular, new opportunities for high-quality immersive experiences are opening up. A variety of exciting applications are on the horizon, from 360° videos to interactive training simulations and collaborative virtual environments. However, to achieve high levels of perceptual quality, the required network bandwidth and GPU computing resources can be orders of magnitude higher than those required for traditional 2D content.To mitigate this, adaptive streaming strategies have been implemented to improve the quality of experience (QoE) for people watching 360° videos over the Internet. This is done by adapting the video quality to the network conditions and the user's head orientation. Since most adaptive bitrate algorithms rely on using a large enough video buffer to compensate for bandwidth fluctuations, the algorithm needs to know where the person will be looking a few seconds before playback to make the appropriate quality decisions.Improving the QoE for 360° video streaming therefore depends on accurately predicting the user's viewport in VR. Unfortunately, viewport prediction is a challenging problem due to (i) the inherent randomness of human motion, (ii) the diversity of head trajectories among people watching 360° video, which leads to ambiguity between similar past trajectories, and (iii) the many factors that influence user behavior, attention, and movement in VR.In order to design VR streaming systems that can better adapt to each user, it is important to understand the different factors, their interactions, and their effects on human behavior. Collecting and exploiting additional data modalities related to these factors could help disambiguate head trajectories and improve viewport prediction.The work covered in this manuscript touches on many areas, including the design of various multimodal deep learning architectures applied to regression, dynamic optimization problems, time series forecasting, and user experiments along with associated statistical analyses.This work is divided into four main contributions.First, we studied the similarity between head motion trajectories and proposed a new variational deep learning framework for predicting multiple possible head motion trajectories to better account for trajectory diversity. While our framework is compatible with any sequence-to-sequence architecture, we implemented a flexible and lightweight stochastic prediction model and showed that it outperformed competitors adapted from the self-driving domain by up to 41% on four datasets.We then proposed a new trace-driven 360° video streaming simulator to measure the system gains of our framework and provide a way to easily compare adaptive streaming strategies. We showed that predicting multiple trajectories leads to higher fairness among simulated users, with gains for 20% to 30% of users reaching up to 10% in visual quality.In parallel, we conducted user experiments and statistical analyses to better understand the interaction between immersive content, attention, and emotions, as well as the effects of emotions on user motion. We observed that user arousal correlated with the accuracy of high-level saliency. We also quantified the effects of valence and arousal on the predictability of head movements and their interaction with spatial information.Finally, we wanted to take advantage of additional emotion-related data modalities to learn better representations and improve viewport prediction. Motivated by recent work on cross-modal knowledge distillation and multimodal foundation models, we initiated work on a new multimodal deep architecture able to learn transferable representations of modalities that are only available at training time. We obtained early results outperforming the existing state-of-the-art by up to 21% while greatly reducing the number of parameters.