Architecture et apprentissage d'un système hybride neuro-markovien pour la reconnaissance de l'écriture manuscrite en-ligne

Architecture and Training of a Hybrid Neuro-Markovian System for On-Line Handwriting Recognition

• Auteur / Autrice : Émilie Poisson
• Direction : Christian Viard-Gaudin
• Type : Thèse de doctorat
• Discipline(s) : Automatique et informatique appliquée
• Date : Soutenance en 2005
• Etablissement(s) : Nantes
• Ecole(s) doctorale(s) : École doctorale sciences et technologies de l'information et des matériaux (Nantes)
• Partenaire(s) de recherche : autre partenaire : Université de Nantes. Faculté des sciences et des techniques - Centrale Nantes - École nationale supérieure des mines (Nantes ; 1990-2016)

Mots clés

Mots clés contrôlés

Programmation dynamique

Markov, Processus de

Réseaux neuronaux (informatique)

Reconnaissance optique des caractères

Résumé

Les travaux présentés dans le cadre de cette thèse portent sur l'étude, la conception, le développement et le test d'un système de reconnaissance de mots manuscrits non contraints en-ligne pour une application omni-scripteurs. Le système proposé repose sur une architecture hybride neuro-markovienne comportant d'une part, un réseau de neurones à convolution (TDNN et/ou SDNN), et d'autre part des modèles de Markov à états cachés (MMC). Le réseau de neurones a une vision globale et travaille au niveau caractère, tandis que le MMC s'appuie sur une description plus locale et permet le passage du caractère au niveau mot. Nous avons d'abord étudié le système de reconnaissance au niveau caractère isolé (digits, majuscules, minuscules) et optimisé les architectures des réseaux en termes de performances et de taille. La seconde partie du travail a porté sur le passage au niveau mot. Ici, l'effort a consisté avant tout à la définition d'un schéma d'apprentissage global au niveau mot qui permet d'assurer la convergence globale du système, en définissant une fonction d'objectif qui mixe des critères basés modèle générateur (typiquement par maximum de vraisemblance) et des critères discriminants (de type maximum d'information mutuelle). Les différentes résultats présentés (sur les bases MNIST, IRONOFF, UNIPEN) montrent l'influence des principaux paramètres du système, soit en termes de topologie, de sources d'information, de modèles d'apprentissage (nombre d'états, pondération des critères, durée)

This thesis deals with the study, the conception, the development and the test of an online unconstrained handwriting word recognition system for an omni-writer application. The proposed system is based on a hybrid architecture including on the one hand, a neural convolutional network (TDNN and/or SDNN), and on the other hand Hidden Markov Models (HMM). The neural network has a global vision and works at the character level, while the HMM works on a more local description and allows the extension from the character level to the word level. The system was first dedicated for processing isolated characters (digits, lowercase letters, uppercase letters). This architecture has been optimized in terms of performances and size. The second part of this work concerns the extension to the word level. In this case, we have defined a global training scheme directly at the word level. It allows to insure the global convergence of the system. It relies on an objective function that combines two main criteria: one based on generative models (typically by maximum likelihood estimation) and the second one based on discriminant criteria (maximum mutual information). Several results are presented on MNIST, IRONOFF and UNIPEN databases. They show the influence of the main parameters of the system, either in terms of topologies, information sources, and training models (number of states, criteria weighting, duration).