# Application des méthodes d'approximation stochastique à l'estimation de la densité et de la régression

## par Yousri Slaoui

Thèse de doctorat en Mathématiques et applications

Soutenue en 2006

• ## Résumé

The objective of this thesis is to apply the stochastic approximation methods to the estimation of a density and of a regression function. Ln the first chapter, we build up a stochastic algorithm with single stepsize, which defines a whole class of recursive kernel estimators of a probability density. We study the properties of this algorithm. We show that the two recursive kernel estimators already known correspond to two particular elements of the class of estimators defined by our stochastic algorithm : the recursive estimator introduced by Wolwerton and Wagner (1969) corresponds to a choice of stepsize of the algorithm which allows to minimize the mean squared error, while the one introduced by Duflo (1997) corresponds to a choice of stepsize which minimizes the variance. Ln the second chapter, we consider the estimator proposed by Révész (1973, 1977) to estimate a regression function r : x f---t lE [YIX = x]. His estimator rn, built up by using a single-time-scale stochastic algorithm, has a big disadvantage : the assumptions on the marginal density of X necessary to establish the convergence rate of r n are much stronger than those usually required to study the asymptotic behavior of an estimator of a regression function. We show how the application of the averaging principle of stochastic algorithms allows, by first generalizing the definition of the estimator of Révész and then by averaging this generalized estimator, to build up a recursive estimator fn which has good asymptotic properties. Ln the third chapter, we still apply stochastic approximation methods to estimate a regression function. But this time, rather than to use single¬time-scale stochastic algorithm, we show how the two-time-scale stochastic algorithms allow to build up a whole class of recursive estimators of a regression function, and we study the asymptotic properties of these estimators. This approach is much easier than the one of the second chapter : the estimators built up using the two-time-scale algorithms do not need to be averaged to have good asymptotic properties

Application of stochastic approximation methods to estimate a density and a regression function

• ## Résumé

L'objectif de cette thèse est d'appliquer les méthodes d'approximation stochastique à l'estimation de la densité et de la régression. Dans le premier chapitre, nous construisons un algorithme stochastique à pas simple qui définit toute une classe d'estimateurs récursifs à noyau d'une densité de probabilité. Nous étudions les différentes propriétés. De cet algorithme. Nous montrons en particulier que les deux estimateurs récursifs à noyau déjà connus correspondent à deux éléments bien particuliers de la classe d'estimateurs définis par notre algorithme stochastique: l'estimateur récursif introduit par Wolwerton et Wagner (1969) correspond à un choix de pas de l'algorithme qui permet d'obtenir un risque quadratique minimal, tandis que celui introduit par Duflo (1997) correspond à un choix de pas qui permet d'obtenir une variance minimale. Dans le deuxième chapitre, nous nous intéressons à l'estimateur proposé par Révész (1973, 1977) pour estimer une fonction de régression r : x f-t lE [YIX = x]. Son estimateur rn, construit à l'a,ide d'un algorithme stochastique à pas simple, a un gros inconvénient : les hypothèses sur la densité marginale de X nécessaires pour établir la vitesse de convergence de rn sont beaucoup plus fortes que celles habituellement requises pour étudier le comportement asymptotique d'un estimateur d'une fonction de régression. Nous montrons comment l'application du principe de moyennisation des algorithmes stochastiques permet, tout d'abord en généralisant la définition de l'estimateur de Révész, puis en moyennisant cet estimateur généralisé, de construire un estimateur récursif rn qui possède de bonnes propriétés asymptotiques. Dans le troisième chapitre, nous appliquons à nouveau les méthodes d'approximation stochastique à l'estimation d'une fonction de régression. Mais cette fois, plutôt que d'utiliser des algorithmes stochastiques à pas simple, nous montrons comment les algorithmes stochastiques à pas doubles permettent de construire toute une classe d'estimateurs récursifs d'une fonction de régression, et nous étudions les propriétés asymptotiques de ces estimateurs. Cette approche est beaucoup plus simple que celle du deuxième chapitre: les estimateurs construits à l'aide des algorithmes à pas doubles n'ont pas besoin d'être moyennisés pour avoir les bonnes propriétés asymptotiques.

#### Autre version

Cette thèse a donné lieu à une publication en 2007 par [CCSD] à Villeurbanne

Application des méthodes d'approximation stochastique à l'estimation de la densité et de la régression

# Consulter en bibliothèque

## La version de soutenance existe sous forme papier

Informations

• Détails : 1 vol. (141 p.)
• Notes : Publication autorisée par le jury
• Annexes : Notes bibliogr.

Où se trouve cette thèse\u00a0?

• Bibliothèque : Université de Versailles Saint-Quentin-en-Yvelines. Direction des Bibliothèques et de l'Information Scientifique et Technique-DBIST. Bibliothèque universitaire Sciences et techniques.
• Disponible pour le PEB
• Cote : 519.23 SLA

## Cette version existe également sous forme de microfiche :

• Bibliothèque : Université de Lille. Service commun de la documentation. Bibliothèque universitaire de Sciences Humaines et Sociales.
• Non disponible pour le PEB
• Cote : 2006VERS0025
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.