Indexing and querying motion databases for animation of virtual humanoids

par Charly Awad

Thèse de doctorat en STIC

Sous la direction de Sylvie Gibet.

Soutenue en 2011

à Lorient , dans le cadre de École doctorale Santé, information-communication et mathématiques, matière (Brest, Finistère) , en partenariat avec Université européenne de Bretagne (2007-2016) (autre partenaire) .

mots clés

• Avatars (informatique) -- Thèses et écrits académiques
• Homme -- Attitude et mouvement -- Simulation par ordinateur -- Thèses et écrits académiques
• Animation par ordinateur -- Thèses et écrits académiques
• Homme -- Attitude et mouvement -- Bases de données -- Thèses et écrits académiques

Titre traduit

Indexation et interrogation de bases de données de mouvement pour l'animation d'humanoïdes virtuels

Résumé

Au cours de ces dix dernières années, les données de capture de mouvement ont été largement utilisés dans de nombreux domaines, conduisant à une croissance exponentielle de la taille des bases de données de mouvement. Par conséquent, l'indexation et la récupération des données de capture de mouvement est devenu une tâche très importante et cruciale pour l'accessibilité et la facilité d'utilisation de ces bases de données. L'objectif principal de cette thèse est d'indexer des mouvements dans la base de données d'une manière qui facilite la recherche et la récupération des données pour des fins de synthèse. Cela nous impose deux défis principaux : l'indexation, et la recherche et l'exploitation pour la synthèse des mouvements. Ainsi, nous proposons un système combinant un processus d'indexation, et un processus d'extraction qui est ensuite utilisé pour produire des animations en temps réel de personnages virtuels. Dans le processus d'indexation, nous exploitons dans les données de mouvement l'existence de deux niveaux d'information : le niveau sémantique et le niveau du signal. Afin de récupérer des mouvements, nous proposons deux types de méthodes de récupération, une basée sur la sémantique et une basée sur le signal. Enfin, la synthèse de nouveaux mouvements est réalisée en concaténant les segments de mouvements extraits de la base de données. Notre approche est appliquée à deux classes de données de mouvement différentes : des mouvements sportifs et des mouvements gestuelles. De plus, nous montrons l'efficacité et la faisabilité du système proposé, ainsi que sa capacité à générer de nouvelles séquences.

Résumé

Over the past decade, motion capture data has been used in many fields (for instance in computer graphics, robotics, biomechanics and medicine), leading to an exponential growth in the size of motion databases. Therefore, indexing and retrieving motion capture data has become an important task for the accessibility and usability of such databases. The main goal of this thesis is to index and store motion files in a database in a way that facilitates data retrieval for animation purposes. Two main challenges arise therein: motion indexation, and motion retrieval and synthesis. We thus propose a system that combines an indexation process, and a retrieval process used in the synthesis process to produce real-time animations of virtual characters. In the indexation process, we create two different databases from the different information found in the motion data: one containing low level information and one containing high level information. We serialize raw data from motion files that we store in the raw database. In addition, we create semantic annotations of these motion files through a manual temporal segmentation process; these annotations are stored in a different database, the semantic database. To retrieve motion, we present two retrieval methods: a semantic-based one, and a signal-based one. Finally, we synthesize new motion by concatenating motion chunks retrieved from the database. We validate our approach by applying it to two different classes of motion data: sport action motion, and communication gesture motion. Furthermore, we show the efficiency and feasibility of the proposed system, as well as its ability to generate new motion sequences.