Étude des modalités de compression et de transmission d'hologrammes dans un contexte d'expérience audiovisuelle immersive

par Anas El Rhammad

Projet de thèse en Traitement du signal et des images

Sous la direction de Marco Cagnazzo et de Patrick Gioia.

Thèses en préparation à Paris Saclay , dans le cadre de École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....) , en partenariat avec LTCI - Laboratoire de Traitement et Communication de l'Information (laboratoire) , MM : MultiMédia (equipe de recherche) et de Télécom ParisTech (établissement de préparation de la thèse) depuis le 06-10-2016 .


  • Résumé

    Parmi les technologies de visualisation 3D, l'holographie [1] semble la plus prometteuse puisqu'elle crée une illusion de la profondeur à la fois naturelle et réaliste. En effet, l'holographie est la seule technologie capable de fournir tous les indices de perception de la profondeur, y compris l'accommodation. Toutefois, afin de concevoir et construire un prototype de casque holographique, plusieurs verrous doivent être levés. En effet, en raison de la grande quantité de données à traiter, la génération et la transmission d'hologrammes en temps réel reste une difficulté majeure. L'objectif de cette thèse est donc d'étudier les modalités de génération et de transmission des données afin de concevoir une chaine de transmission complète depuis l'acquisition jusqu'à l'affichage au casque. Pour cela, plusieurs axes seront explorés. Une première étude concernera l'identification d'un format 'pivot' permettant à la fois une conversion efficace des données (multivues, plénoptiques, synthétiques... [2-4] ) vers une représentation holographique, et un traitement au moment de la visualisation pour extraire des sous-hologrammes correspondant à la partie de scène effectivement observée par l'utilisateur en fonction de ses mouvements. Cette étude permettra d'orienter des recherches sur les problématiques spécifiques de compression et de transmission [5-6] en fonction du format pivot identifié. Ainsi, si celui-ci s'avère être de nature holographique, une piste de traitement, tant pour la transmission que pour la génération de sous-hologrammes, pourrait être une décomposition espace-fréquence à l'aide d'outils du type atomes de Gabor. Si au contraire le format à transmettre repose sur des représentations classiques de type multivue/lightfield, c'est la conversion et l'adaptation temps-réel lors de la navigation immersive qui sera étudiée afin d'atteindre une interactivité au moins équivalente aux dispositifs de visualisation classiques.

  • Titre traduit

    Hologram generation and transmission for immersive audio/visual experience


  • Résumé

    Among technologies for 3D visualization, holography [1] seems the most promising in terms of natural rendering of depth. Holography is the only technology allowing to reproduce all the 3D visual cues, such as the accommodation. However, many difficulties (both practical and theoretical) remain to be dealt with for the realization of holographic-based visualization devices. In particular, the huge amount of data needed for the generation and transmission of holograms poses a tough challenge to real-time devices. The target of this thesis is therefore to study the the modalities of generation and transmission of digital holograms in order to conceive a complete system - from acquisition to display on a head-mounted device (HMD). Several research axes will be explored. First, we need to identify a 'pivot format' or intermediary format that allows an effective conversion of classical input data [2-4] (multiview images/video, plenoptic images, synthetic 3D scene... [2-4] ) into digital holograms. This format should also allow an easy processing to extract parts of the object to represent sub-holograms. This would reduce the amount of data in function of the part of the scene the use is watching to (or moving toward). This first study will allow defining the problems of compression and transmission [5-6], as a consequence of the selected pivot format. If, e.g. the latter is a kind of hologram representation, a possible solution would be a space-frequency representation using Gabor atoms. If, on the contrary, the format is rather 'pixel-based' (multiview, lightfield), the main problem will be the real-time conversion and adaption for immersive navigation in order to achieve an interactivity level at least equivalent to classical (e.g., non hologram-based) display devices.