Modélisation comportementale de systèmes non-linéaires multivariables par méthodes à noyaux et applications

par Emmanuel Vazquez

Thèse de doctorat en Sciences appliquées

Sous la direction de Éric Walter.

Soutenue en 2005

à Paris 11 , en partenariat avec Université de Paris-Sud. Faculté des sciences d'Orsay (Essonne) (autre partenaire) .

mots clés

• Régression non-linéaire
• Modélisation boîte noire
• Noyaux reproduisants
• Séries chronologiques échantillonnées non uniformément

Résumé

Les méthodes de prédiction de processus aléatoires, ou krigeage, et les méthodes de régression régularisée par une norme d'espace hilbertien à noyau reproduisant (splines, approximation par fonctions de base radiales, régression à vecteurs de support, etc. ) constituent deux approches fondamentales de modélisation comportementale de systèmes non-linéaires multivariables. Les liens mathématiques entre ces deux approches ont été mentionnés à plusieurs reprises dans le passé. Ce travail de thèse présente une synthèse originale de ces liens, puisés dans la littérature de la théorie de l'approximation, de l'apprentissage, des séries chronologiques, de la géostatistique, etc. Fort peu exploités, ces liens n'en restent pas moins fondamentaux puisqu'ils permettent par exemple de comprendre comment formuler le problème de régression régularisée pour l'approximation de fonctions à valeurs vectorielles (cas des systèmes à plusieurs sorties). Dans les deux approches, le choix du noyau est essentiel car il conditionne la qualité des modèles. Les principaux résultats théoriques sont issus de travaux en statistiques. Bien que de type asymptotique, ils ont des conséquences pratiques importantes rappelées et illustrées dans cette étude. Les noyaux considérés habituellement forment une famille restreinte offrant relativement peu de souplesse. Des méthodes assemblant un noyau à partir d'un grand nombre de noyaux élémentaires ont été envisagées. Elles ont permis d'obtenir des résultats satisfaisants notamment sur la prédiction de séries chronologiques. Enfin, ce travail s'attache à montrer comment utiliser les méthodes de régression à noyaux à travers la présentation de problèmes réels. Le choix de noyau est abordé en pratique. La prise en compte d'informations disponibles a priori par utilisation du krigeage intrinsèque (régression semi-régularisée) est illustrée. Finalement, des éléments de planification d'expériences sont discutés.

Titre traduit

Kernel-based non-linear systems black-box modeling and applications

Résumé

Two fundamental types of methods for non-linear black-box modeling are linear prediction of random processes, or Kriging, and kernel-based regularized regression (which includes Splines, Radial Basis Functions and Support Vector Regression as special cases). Mathematical links between these approaches had been noticed in the past, but this dissertation presents an original synthesis of these links, drawn from the literature on approximation, learning, time series, geostatistics, etc. Though quite confidential up to now, these links are nevertheless essential, for instance in order to understand how regularized regression via kernel-based methods should be formulated in the context of the approximation of vector-valued functions (for multivariable, or MIMO, systems). In all of these approaches, the choice of an adequate kernel is crucial since it has a direct impact on the quality of the resulting model. The main theoretical results are provided by statistics. Although mainly asymptotical in nature, these results have important practicalconsequences which are recalled and illustrated. Classical kernels constitute a relatively restricted family that does not offer muchflexibility. This led us to propose methods that build up a kernel by combining a large number of elementary kernels. These methods made it possible to obtain promising results, for example on a classical benchmark of the literature on time-series prediction. Finally, the question of how kernel-based regression methods can be applied is addressed, via the consideration of real problems. The choice of appropriate kernels for these problems is discussed. We show how prior knowledge can be taken into account using Intrinsic Kriging (semi-regularized regression). Some contributions to experiment design are also presented. Roaches have been noticed in the past. This work presents an original synthesis of these links, which have been extracted from approximation theory, learning theory, time series literature, geostatistics, etc. Though quite confidential, these links are essential for instance in order to understand the formulation of kernel-based methods for vector-valued function approximation, which is the case of systems with several outputs.