METAR : Méthodologies et outils pour formaliser les procédures de fabrication, de maintenance et de réparation des installations industrielles en utilisant la réalité augmentée

par Traian Lavric

Projet de thèse en Traitement du signal et des images

Sous la direction de Titus Bogdan Zaharia et de Marius Preda.

Thèses en préparation à Paris Saclay , dans le cadre de École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....) , en partenariat avec Télécom SudParis (France) (laboratoire) , ARMEDIA (equipe de recherche) et de Institut national des télécommunications (Evry) (établissement de préparation de la thèse) depuis le 01-12-2018 .


  • Résumé

    Dans cette thèse, nous visons à développer des méthodologies et des outils logiciels capables de générer des scénarios de réalité augmentée réutilisables pouvant assister les individus dans le cadre de procédures industrielles de fabrication, de maintenance et de réparation. En général, la création d'applications multimédias interactives est une tâche complexe: non seulement le contenu est composé de différents types de médias (images, vidéos, sons, graphiques synthétiques), mais il faut également prévoir une couche de programmation pour mettre en œuvre le comportement de l'application et des outils pour capturer et interpréter les différents types d'entrée. En raison des attentes élevées des utilisateurs sur la qualité du contenu (dans le cas de la Réalité Virtuelle) ou du « scepticisme » provoqué par une correspondance imparfaite entre le contenu naturel et synthétique (dans le cas de la Réalité Augmentée), la création d'applications immersives est encore difficile pour les créateurs de contenu. En effet, comme dans toutes les applications interactives, le niveau d'implication des utilisateurs dépend principalement de la qualité du scénario. Cela aura un impact direct sur les performances d'apprentissage, lorsque de telles expériences sont utilisées pour soutenir le contenu pédagogique ou sur les performances en matière de productivité lorsqu'elles sont utilisées dans un contexte industriel. Etant donné que les performances dépendent de l'intervention de l'opérateur, notre vision est de rendre la technologie transparente pour les créateurs de contenu afin qu'ils puissent se concentrer sur la conception de scénarios captivants, significatifs et utiles. Le concepteur ou l'ingénieur de l'installation industrielle doit être capable de créer du contenu de RA sans avoir à programmer au bas niveau. En utilisant les outils développés pendant la thèse, il sera facile de charger la représentation 3D approximative d'un espace, d'attacher des ressources média à cet espace, d'associer un comportement aux actions des opérateurs ou aux conditions vérifiées par des capteurs, d'accéder aux ressources distantes, de déclencher des animations en fonction du résultat de la reconnaissance visuelle, etc. L'objectif de METAR est de proposer une représentation de la scène 3D approximative qui fournit le compromis entre la complexité des primitives graphiques et le support d'interaction entre le monde réel et les composants virtuels et aussi entre la scène composée et l'utilisateur final. Les travaux en cours effectués par l'équipe de Télécom SudParis dans le cadre de différents projets sont orientés vers cette vision. Avec METAR, l'objectif est de réaliser une avancée décisive en permettant une connexion plus étroite entre le monde réel et le monde virtuel. L'innovation viendra de la modélisation partielle du monde réel et de l'utilisation de cette information lors de la phase de création. Les résultats de METAR seront intégrés dans une infrastructure complète, permettant aux ingénieurs de BOSCH de concevoir, produire, accéder, consommer et partager des espaces de production augmentés à moindre coût, sur des appareils qui sont déjà aujourd'hui presque universellement utilisés. Etat de l'art L'un des obstacles les plus importants au développement d'applications de réalité augmentée (RA) est la création du contenu. Aujourd'hui, les outils de création de RA peuvent être classés comme des outils de programmation ou de conception de contenu. Le deuxième supprime la nécessité d'avoir des compétences en programmation pour développer une solution de RA. Par conséquent, les outils de développement pour la création d'applications en RA peuvent être globalement organisés en deux approches différentes: la création des scénarios en RA pour les programmeurs et pour les non-programmeurs. Dans le premier cas, les outils sont généralement des bibliothèques et des frameworks (par exemple ARToolKit [14], qui est probablement le plus utilisé) qui nécessitent des connaissances en programmation pour créer l'application, donc ils sont destinés aux programmeurs experts [15]. Dans le dernier cas, un niveau d'abstraction est ajouté et la programmation de bas niveau est supprimée ou masquée. Ainsi, les outils pour les non-programmeurs sont axés sur le contenu et incluent généralement des interfaces utilisateur graphiques pour créer des applications sans écrire de lignes de code [10]. Certaines bibliothèques, comme PoLAR [16] ou des outils de création à interface graphique, visent à aider les utilisateurs non spécialisés à développer du contenu de RA d'une manière simple et sans programmation [17]. De toute évidence, les outils de création fournis avec une interface graphique sont préférés, en particulier si la connaissance en programmation n'est pas requise. Par la suite, nous présentons certains outils de création les plus pertinents des deux approches, en commençant par ceux qui nécessitent des connaissances techniques et en continuant avec des solutions plus avancées, du moins du point de vue de la facilité de la création de contenu. Nous verrons ainsi comment les outils de création de RA ont progressivement ajouté des niveaux d'abstraction, comment les fonctionnalités et les concepts de bas niveau ont été supprimés ou cachés, afin de faciliter le processus de création de contenu en RA et de rendre la technologie accessible aux personnes non techniques. Les premières tentatives visant à faciliter l'ajout de contenu pour les utilisateurs finaux ont été Powerspace [18] qui était conçu pour créer des mondes en RA à partir des présentations 2D en MS PowerPoint et DART [19], un plugin pour Macromedia Director créé pour le prototypage rapide dans la première phase de la conception. Certains outils de création sont conçus pour étendre d'autres outils de développement de contenu. Par exemple, AR-Blender [6] est une version étendue de Blender 3D qui intègre ARToolKit. Cependant, il est très compliqué et long de combiner un monde virtuel avec un monde réel, car des problèmes persistent dans la construction des géométries 3D et des applications de réalité mixte. Les développeurs peuvent utiliser l'interface de scripts de Blender pour développer de simples applications en RA sur PC qui incluent leurs modèles 3D. Les outils de création tels que ComposAR [8] sont uniquement axés sur les applications RA interactives et ont été conçus dès le départ pour prendre en charge uniquement la création de RA. L'objectif principal de ces outils est d'associer du contenu virtuel à des objets réels et de définir des interactions pour ces objets. ComposAR utilise une architecture de plugins pour prendre en charge de nombreuses approches de suivi d'objets en vision par ordinateur à partir desquelles l'utilisateur peut sélectionner sa méthode préférée. En plus du fait que les concepteurs peuvent voir les changements instantanément et peuvent changer dynamiquement leurs applications de RA jusqu'à ce qu'ils obtiennent l'interactivité souhaitée, ComposAR vise l'extensibilité: il fournit une interface Python permettant aux utilisateurs d'ajouter leurs propres modules Python personnalisés pour des besoins particuliers. Le feedback des utilisateurs a fourni une conclusion très intéressante: au lieu d'utiliser Python, il serait souhaitable de créer un langage spécifique au domaine pour les interactions en RA afin d'améliorer l'accessibilité. Les jeux omniprésents nécessitent généralement beaucoup d'efforts non seulement pour produire le jeu mais aussi pour le mettre en scène. Si une partie de ce travail pouvait être réalisée par la communauté, la popularité et la faisabilité économique de telles initiatives augmenteraient très probablement. Une façon de faire consiste à intégrer la mise en place du jeu directement dans le jeu, comme dans le jeu Hitchers [7], où les joueurs créent eux-mêmes le contenu du jeu et le placent dans l'environnement. Il est bien sûr impossible de créer un jeu complet avec une telle approche. Les plus récents outils de création de RA sont principalement destinés aux non-programmeurs et les auteurs concentrent leur travail sur le développement de telles plateformes, comme le prototype SITUAR [20] ou ENTITI, une plateforme commerciale permettant la création du contenu interactif en RA [21]. D'autres outils de création de RA tels que Layar Creator [11] fournissent un ensemble complet de fonctionnalités tout au long du processus de création, telles que l'interface utilisateur graphique, y compris le glisser-déposer pour faciliter la création de scénarios. Un autre outil de création de haut niveau pour la RA est fourni par Wikitude avec Studio et Studio Editor. Studio est un outil simple de glisser-déposer qui permet d'ajouter, de supprimer, de modifier et de gérer plus efficacement les images et les objets cibles. Studio Editor est la plateforme unique de Wikitude pour construire des expériences de réalité augmentée en quelques clics. Studio Editor permet aux développeurs et aux non-développeurs de créer, gérer et publier des projets de RA basés sur des cibles et des objets, le tout sur une seule plateforme [12]. L'un des outils de création les plus puissants pour le développement de jeux en RA / RV est proposé par Unity. Unity est un moteur de jeu multi-plateforme développé par Unity Technologies, qui est principalement utilisé pour développer des jeux vidéo et des simulations en 3D et 2D pour ordinateurs, consoles et appareils mobiles [13]. Il est entièrement équipé avec un éditeur qui permet aux développeurs de jeux d'effectuer toute action pour laquelle le jeu est conçu. Les outils graphiques disponibles dans Unity prennent en charge DirectX et OpenGL, et sont optimisés pour des performances ultra-rapides, produisant des graphiques fluides, même sur les systèmes de jeu bas de gamme. Unity est adapté au développement de jeux et de contenu multimédia interactif sur presque toutes les plateformes: mobile, ordinateur, console, web, smart TV. De plus, il supporte la plupart des périphériques RA/RV disponibles aujourd'hui: Oculus RIFT, Windows Hololens, Gear VR, Google Cardboard, Apple ARKit, Google ARCore et autres, ce qui en fait de loin la plus connue et utilisée plateforme de création RA/RV parmi les développeurs et les concepteurs. Cependant, l'utilisation de l'éditeur nécessite toujours des compétences de programmation relativement avancées. L'approche de METAR s'inspirera de ces outils avec la différence que le monde 3D modélisé sera remplacé par des reconstructions partielles de la scène réelle. Cependant, même si la plupart de ces outils de création fournissent des fonctionnalités intéressantes pour les non-programmeurs permettant de créer facilement du contenu en RA, il existe un manque de standardisation et les applications fournissent généralement une application spécifique pour visualiser leurs propres scènes en RA [21, 22, 23]. En ce sens, certains systèmes explorent l'utilisation des technologies Web pour la diffusion de contenu en RA. L'un d'eux est une plateforme éducative pour soutenir la formation des ingénieurs. Cette solution explore les avantages de Web3D, mais une application de visualisation spécifique côté client est toujours nécessaire [24]. Un autre exemple est un outil de création basé sur Web3D pour la conception de scènes en RA [25] et un plugin Moodle pour l'intégration du contenu de RA dans la plateforme [26]. Enfin, l'exemple le plus récent concernant les technologies de RA et Web est un framework pour le développement de contenus web 3D éducatifs interactifs [27]. En ce qui concerne le contenu créé par les utilisateurs, les applications courantes Web2.0 comme les blogs, les wikis et les sites communautaires de partage de photos et vidéos constituent déjà un grand pas dans cette direction. Dans le domaine des jeux vidéo, les jeux créés ou modifiés par les utilisateurs sont devenus très populaires. En dehors de la communauté des moddeurs pour les jeux de tir à la première personne, cette tendance est également passée à d'autres genres de jeu comme c'est le cas pour World of Warcraft, The Sims ou Spore. L'un des aspects principaux de ce dernier est le soutien pour le contenu créé par l'utilisateur (par exemple, des créatures) pour ce jeu, qui va si loin que des personnes paient pour utiliser l'éditeur de créature et augmenter le monde du jeu avec leurs créations. Des autres exemples qui ne font pas partie du monde de jeux vidéo et qui ont réussi à construire une grande communauté autour d'eux sont : Geocaching (www.geocaching.com), où les utilisateurs créent des questionnaires pour des autres utilisateurs en utilisant la technologie GPS, et Mindstorms (mindstorms.lego.com), où les utilisateurs peuvent orchestrer et définir le comportement des robots Lego. Avancées par rapport à l'état de l'art Dans le cadre de cette thèse, l'objectif est d'étudier et de mettre en œuvre une nouvelle approche en proposant un formalisme pour représenter les scènes naturelles partiellement reconstituées et les mélanger avec des scènes graphiques et des actifs, gérer l'interaction de l'utilisateur, le comportement général, la connexion avec les capteurs et l'accès aux ressources distantes. Une nouvelle approche pour le traitement de l'information est nécessaire pour une utilisation efficace de la RA à des fins de formation et d'apprentissage des nouvelles tâches. Elle doit répondre a des questions comme quelles informations sont présentées à un opérateur, à quel moment et sous quelle forme. En d'autres termes, une expérience RA dynamique et flexible où le contenu n'est pas prédéterminé et statique devrait augmenter considérablement l'efficacité du processus d'apprentissage d'un opérateur dans le contexte de la fabrication industrielle. Afin de fournir une telle solution, l'objectif scientifique de la thèse est de concevoir un système expert capable de présenter un contenu RA personnalisé. Le système expert doit être suffisamment intelligent pour fournir des conseils et des instructions dans la solution de RA, en tenant compte des aspects suivants: le contexte et les compétences de l'opérateur, les progrès actuels du processus d'apprentissage / formation et l'expérience antérieure. Les informations personnalisées doivent être calculées et affichées en temps réel, mais afin de fournir une expérience RA propre et optimisée à l'opérateur, le système doit également décider quelles informations ne pas afficher. Les systèmes experts n'ont jamais été utilisés dans le contexte des applications RA industrielles pour déterminer des informations personnalisées et permettre des expériences AR dynamiques et individuelles. Nous pensons donc qu'il est nécessaire de rechercher la possibilité d'utiliser des systèmes experts intelligents dans le processus de création de solutions RA industrielles dynamiques, flexibles et personnalisées ayant comme avantages de rendre les contenus RA réutilisables et une efficacité accrue de l'opérateur. Contenu technique L'objectif scientifique principal est de proposer la reconstruction approximative de scènes 3D et de l'utiliser comme support pour la création de procédures de fabrication en réalité augmentée. Cela sera intégré dans une infrastructure existante, afin d'aider les utilisateurs professionnels à créer des expériences de réalité augmentée sans nécessiter de compétences en programmation. Tout ceci se traduit par un objectif technique qui ne sera pas aussi évident pour les utilisateurs de METAR, mais qui est tout aussi important: exprimer le contenu METAR en format XML (actuellement les procédures sont exprimées sous la forme d'un ensemble d'instructions textuelles), y compris la description de la scène, l'interaction de l'utilisateur, la communication avec des capteurs et l'accès aux ressources à distance, et de le faire sans inventer un nouveau formalisme, mais en adaptant ceux existent déjà tels que MPEG-4 BIFS (équivalent à X3D dans sa version textuelle XMT, mais avec des extensions pour le temps réel), MPEG-V (pour les capteurs), W3C POI (pour les points d'intérêt), etc. La création des expériences augmentées se fera par le biais d'une interface Web, généralement destinée aux ordinateurs. En l'utilisant, le créateur pourra spécifier les fichiers médias à utiliser pour l'augmentation (vidéo, audio et graphique) et leur emplacement dans la scène réelle, et décrire l'interaction de l'utilisateur (éléments de l'interface utilisateur graphique) et le comportement de la scène (en important des scripts de la bibliothèque de prototypes). A la sortie de l'outil de création il y aura des fichiers METAR décrivant le graphe de scène de l'expérience en RA, les connexions aux capteurs locaux et distants, les métadonnées de description visuelle pour les points d'intérêt et les données nécessaires pour accéder aux ressources multimédia distantes. La nouveauté dans METAR est d'inclure la reconstruction partielle de la scène réelle dans le processus de création, en fournissant ainsi une percée par rapport aux solutions actuelles où seulement la carte 2D est utilisée pour le recalage d'image pour les scènes extérieures ou certaines images représentant des objets faciles à détecter pour la mise en correspondance pour les scènes extérieures et intérieures. L'une des principales hypothèses sur laquelle METAR est construit est que, pour concevoir des expériences en RA, il est préférable de formaliser complètement la composition audio/visuelle, la présentation et l'interaction de l'utilisateur, afin qu'elles puissent être interprétées par un navigateur RA générique. Cette approche est également une nouveauté par rapport à la manière actuelle de créer des applications en RA où le comportement est programmé lors de la création de l'application. En suivant la méthode METAR, un écosystème peut être créé où plusieurs acteurs, avec leurs propres spécialités, peuvent interagir en se basant sur le formalisme et réduire ainsi les coûts pour les utilisateurs finaux. Finalement, un démonstrateur sera mis en place prouvant la facilité de créer des expériences engageantes en utilisant l'outil de création conçu. Il sera installé sur le site de production de BOSCH à Drancy.

  • Titre traduit

    METAR Methodologies and tools to formalize manufacture, maintenance and repair procedures for industrial installations by using augmented reality


  • Résumé

    In this thesis we aim to develop methodologies and software tools capable of generating reusable augmented reality scenarios that can assist individuals in the context of industrial procedures for manufacturing, maintenance and repair. In general, creating interactive multimedia applications is a complex task: not only is content composed of different media assets (images, videos, sounds, synthetic graphics), but one must also provide a programming layer to implement the application behavior, and tools to capture and interpret different kinds of input. Creating immersive applications is even less author-friendly; due to the high expectations users have on content quality (in the case of Virtual Reality) or to the “disbelief” caused by an imperfect match between natural and synthetic content (in the case of Augmented Reality). Indeed, like in all interactive applications, the level of user involvement depends mostly on the quality of the scenario. This will directly impact the learning performances, when such experiences are used to support pedagogical content or the productivity performances when they are used in an industrial context. Because the performances depend on operator involvement, our vision is to make the technology transparent for content creators so that they can concentrate on designing engaging, meaningful, attractive and valuable scenarios. The designer/engineer of the industrial installation should be able to create AR content without having to program at the low, machine level. By using the tools developed during the project, it will be easy to load the approximate 3D representation of a space, attach media assets to this space, associate behavior to actions taken by operators or to conditions verified by sensors, access remote resources, trigger animations based on the visual recognition result, etc. The focus of METAR is to propose a representation form of the approximate 3D scene that offers the tradeoff between the complexity of the graphics primitives and the support for interaction between the real world and the virtual components and also between the composed scene and the end-user. Current work performed by Telecom SudParis team in the framework of various projects is oriented towards this vision. With METAR, the goal is to produce a breakthrough by allowing a more closed connection between the real and the virtual world. The innovation will come from the partial modeling of the real world and usage of this information during the authoring phase. METAR results will be integrated into a complete infrastructure, to enable BOSCH engineers to design, produce, access, consume and share augmented production spaces in an affordable way, on devices that are already today close to universal use. State of the Art One of the highest barriers in the development of Augmented Reality (AR) applications is authoring of the content. Today, AR authoring tools can be classified as programming or content design tools. The second removes the necessity of programming skills to develop an AR solution. Therefore, from this perspective, development tools for building AR applications can be broadly organized into two different approaches: AR authoring for programmers and non-programmers. In the former case, tools are typically code libraries and frameworks (e.g. ARToolKit [14], which is probably the most widely used) that require programming knowledge to author the application, therefore they are intended for expert programmers [15]. In the latter case, abstraction is added and low level programming capability is removed or hidden. Thus, tools for non-programmers are content driven and commonly include graphical user interfaces for building applications without writing any lines of code [10]. Some libraries like PoLAR [16] or GUI-based authoring tools aim to help unskilled users to develop AR content in an easy and non-programming manner [17]. Obviously, the authoring tools provided with a GUI are preferred, especially if programming knowledge is not required. Further we are presenting some of the most pertinent authoring tools from both approaches, starting with the ones requiring technical knowledge and continuing with solutions which are more advanced, at least from the point of view of the content creation facility. We will thus notice how AR authoring tools have gradually added abstraction levels, how low-level functionalities and concepts were removed or hidden, in order to ease the process of creating AR content and to make the technology available to non-technical people. The first attempts aiming to facilitate the addition of content to end-users were Powerspace [18] which was designed to create AR worlds starting from 2D MS PowerPoint presentations and DART [19], a plugin for Director which was created for rapid prototyping in the first phase of the design. Some other authoring tools are designed to extend other content development tools. For example, AR-Blender [6] is an extended version of the Blender 3D that integrates ARToolKit. However, it is very complicated and time consuming to combine a virtual world with a real one, because similar problems remain in building 3D geometries and mixed reality applications. Developers can use the Blender scripting interface to develop simple PC-based AR applications that include their 3D models.Authoring tools like ComposAR [8] are solely focused on interactive AR and they were designed from the ground up to support AR authoring only. The main focus of such tools is to associate virtual content with real objects and define interactions for those objects. ComposAR uses plugin architecture to support numerous computer-vision based tracking approaches from which the user can select their preferred method. In addition to the fact that the designers can see changes instantly and can dynamically change their AR applications until they get the interactivity they want, ComposAR aims for extensibility: provides a Python interface allowing users to add their own custom Python modules for particular needs. User feedback provided a very interesting conclusion: instead of using Python, it would be desirable to create a domain specific language for AR interactions in order to enhance accessibility. Pervasive games usually require a huge amount of effort not only to produce the game but also to stage it. If part of this job could be done by the community, the popularity and economic feasibility of such endeavors would most likely increase. One way is to make the set-up of the game part of the actual game play, as in the game Hitchers [7], where players create game content themselves and place it in the environment. It is of course not possible to create a full game with such an approach. Most recent AR authoring tools are mainly focused for non-programmers and authors focus their work in developing such platforms, like SITUAR prototype [20] or ENTITI, a commercial platform that enables the creation of interactive AR content [21]. Some other AR authoring tools like Layar Creator [11] provide a complete set of features along the entire creation workflow, such as graphical user interface including drag and drop to ease the scenario creation. Another high-level AR authoring tool is provided by Wikitude with Studio and Studio Editor. Studio is an easy drag&drop tool, making it possible to add, delete, edit and maintain target images and objects more efficiently. Studio Editor is Wikitude's ultimate “one-stop” platform for building augmented reality experiences in just a few clicks. Editor enables developers and non-developers to create, manage and publish AR projects based on targets and objects, all in a single platform [12]. One of the most powerful authoring tool for AR/VR game development is offered by Unity. Unity is a cross-platform game engine developed by Unity Technologies, which is primarily used to develop both three-dimensional and two-dimensional video games and simulations for computers, consoles, and mobile devices [13]. It comes fully equipped with an editor that allows game developers to perform any action the game is designed to do. The graphical tools available in Unity support DirectX as well as OpenGL, and is optimized for lightning fast performance producing smooth running graphics, even on low end gaming systems. Unity is suitable for developing games and interactive multimedia content on almost any platform: mobile, desktop, console, web, smart TV. Moreover, it has support for mostly all AR/VR hardware devices available today: Oculus RIFT, Windows Hololens, Gear VR, Google Cardboard, Apple ARKit, Google ARCore and others, which makes it by far the most known and used AR/VR creation platform among developers and designers. It is also equipped with shading applications that will allow developers to create shade on animations, objects and backgrounds. However, using the editor still requires relatively advanced programming skills. METAR's approach will be inspired from such tools with the difference that the modeled 3D world will be replaced by partial reconstructions of the real scene. However, even though many of these authoring tools provide great features for non-programmers allowing easy creation of AR content, there is a lack of standardization and the applications usually provide a specific viewer for playing their own AR scenes [21, 22, 23]. In this sense, there are some systems that explored the use of web technologies for delivering AR content. One of them is an educational platform to support engineering education. This solution explores the benefits of Web3D but a specific client visualization application is still required [24]. One other example is a Web3D-based authoring tool for designing AR scenes [25] and a Moodle plugin for integrating the AR content into the platform [26]. And finally, the most recent example concerning AR and web technologies is a framework for the development of 3D web-based interactive educational content [27]. Concerning user-created content, typical Web2.0 applications like blogs, wikis, and video and photo community sites are already a big step in this direction. The latest developments, in the form of easily manageable and configurable web services such as mashups, go beyond the pure management of non-computational media towards creating one's own programs. In the area of video games, user-created games or user-modified ones have become rather popular. Apart from the modding community of first person shooters, this trend has also moved over to other gaming genres as seen in games like World of Warcraft, The Sims or Spore. One of the main aspects of the latter is the encouragement of user-created content (e.g., creatures) for this game, which goes so far that people pay to use the creature editor and enhance the game world with their creations. Other non-video gaming examples which have managed to build a large community around them are Geocaching (www.geocaching.com), where users create quizzes for other users based on GPS technology, and Mindstorms (mindstorms.lego.com), where users can script and define the behavior of Lego robots. Advances over state of the art Within this thesis, the objective is to investigate and implement a novel approach by proposing a formalism for representing the partially reconstructed natural scenes and mix them with graphics scene and assets, handle the user interaction, overall behavior, the connection with the sensors and the access to remote resources. A new approach for information content handling is necessary for effective use of AR for training purposes and the learning of new tasks: what information is presented to an operator, at which point and in what form. In other words, a dynamic, flexible AR experience where the content is not predetermined and static should drastically increase the efficiency of the learning process of an operator in the industrial manufacturing context. In order to provide such solution, the scientific objective of the thesis is to design an expert system able to present personalized AR content. The expert system has to be smart enough to provide guidance and instructions in the AR solution, considering the following aspects: operator's context and skills, current progress of the learning/training process and previous experience. The customized information must be computed and displayed in real-time but in order to provide a clean and optimized AR experience to the operator, the system has to also decide what information not to display. Expert systems have not been previously used is the context of industrial AR applications for determining personalized information and enabling dynamic, individual AR experiences. We, therefore, believe that there is a clear necessity to research the possibility of using intelligent expert systems in the process of creating dynamic, flexible and personalized industrial AR solutions. Some of the major advantages of such system would be: reusable AR content, increased effectiveness of the operator, help AR go mainstream. Technical Content The main scientific objective is to propose the approximate 3D scene reconstruction and use it as support for authoring augmented reality manufacture procedures. This will be integrated into an existent infrastructure, in order to help professional users to create augmented reality experiences without requiring programming skills. This translates into a technical objective which will not be so evident to METAR's users, but that is equally important: to express METAR content in XML (currently the procedures are expressed as a set of textual instructions), including scene description, user interaction, communication with sensors and access to remote resources, and to do so without inventing yet another formalism, but by adapting existing ones such as MPEG 4 BIFS (equivalent to X3D in its XMT textual version, but with extensions supporting real time), MPEG V (for sensors), W3C POI (for points of interest), etc. The authoring of the augmented experiences will be done through a web-based interface, typically to be used on desktop computers. While using it, the designer will be able to specify the media files to be used for augmentation (video, audio, and graphics) and their location in the real scene, and to describe the user interaction (GUI elements) and the scene behavior (by importing scripts from the prototypes library). The output of the authoring tool will be METAR files describing the scene graph of the AR experience, the connections to local and remote sensors, the visual description metadata for point of interests, and the data needed to access remote media resources. The novelty in METAR is to include the partial reconstruction of the real scene in the authoring process, providing a breakthrough with respect to current solutions where only the 2D map is used for outdoor registration or some images representing easy to detect objects for outdoor/indoor registration. One of the main hypothesis on which METAR is built is that, to design AR experiences, it is best to completely formalize the audio/visual composition, presentation, and user interaction, so that they can be interpreted by a generic AR browser. This approach is also a novelty with respect to the current manner of creating AR applications where the behavior it is programmed when the application is build. Following the METAR's way, an eco-system can be created where multiple actors, with their own specialties, can interact based on the formalism, and reduce costs for the end users. Finally, a demonstrator will be set up proving the facility of creating engaging experiences by using the designed authoring tool. It will be set up at the production site of Bosch at Drancy.