Contributions to unsupervised learning from massive high-dimensional data streams : structuring, hashing and clustering

par Anne Morvan

Thèse de doctorat en Informatique

Sous la direction de Jamal Atif.

Soutenue le 12-11-2018

à Paris Sciences et Lettres , dans le cadre de Ecole doctorale de Dauphine (Paris) , en partenariat avec Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision (Paris) (laboratoire) et de Université Paris-Dauphine (établissement de préparation de la thèse) .

Le président du jury était Rémi Gribonval.

Le jury était composé de Jamal Atif, Rémi Gribonval, Albert Bifet, Liva Ralaivola, Florence d' Alché-Buc, Krzysztof Choromanski, Cédric Gouy-Pailler.

Les rapporteurs étaient Albert Bifet, Liva Ralaivola.

mots clés

• Apprentissage non supervisé
• Recherche des plus proches voisins
• Flux
• Clustering
• Approximation
• Réduction de dimension
• Hachage
• Résumés minimalistes
• Apprentissage supervisé (intelligence artificielle)
• Recherche à voisinage variable
• Approximation numérique
• Adressage calculé (informatique)

Titre traduit

Contributions à l'apprentissage non supervisé à partir de flux de données massives en grande dimension : structuration, hashing et clustering

Résumé

Cette thèse étudie deux tâches fondamentales d'apprentissage non supervisé: la recherche des plus proches voisins et le clustering de données massives en grande dimension pour respecter d'importantes contraintes de temps et d'espace.Tout d'abord, un nouveau cadre théorique permet de réduire le coût spatial et d'augmenter le débit de traitement du Cross-polytope LSH pour la recherche du plus proche voisin presque sans aucune perte de précision.Ensuite, une méthode est conçue pour apprendre en une seule passe sur des données en grande dimension des codes compacts binaires. En plus de garanties théoriques, la qualité des sketches obtenus est mesurée dans le cadre de la recherche approximative des plus proches voisins. Puis, un algorithme de clustering sans paramètre et efficace en terme de coût de stockage est développé en s'appuyant sur l'extraction d'un arbre couvrant minimum approché du graphe de dissimilarité compressé auquel des coupes bien choisies sont effectuées.

mots clés

• Unsupervised learning
• Nearest neighbors search
• Streaming
• Clustering
• Approximation
• Dimensionality reduction
• Hashing
• Sketching

Résumé

This thesis focuses on how to perform efficiently unsupervised machine learning such as the fundamentally linked nearest neighbor search and clustering task, under time and space constraints for high-dimensional datasets. First, a new theoretical framework reduces the space cost and increases the rate of flow of data-independent Cross-polytope LSH for the approximative nearest neighbor search with almost no loss of accuracy.Second, a novel streaming data-dependent method is designed to learn compact binary codes from high-dimensional data points in only one pass. Besides some theoretical guarantees, the quality of the obtained embeddings are accessed on the approximate nearest neighbors search task.Finally, a space-efficient parameter-free clustering algorithm is conceived, based on the recovery of an approximate Minimum Spanning Tree of the sketched data dissimilarity graph on which suitable cuts are performed.