Descriptif

De nombreux problèmes d’estimation en apprentissage statistique sont formulés comme des problèmes d’optimisation. Ces formulations ont permis une separation entre l’analyse des performances de l’estimateur et le développement d’algorithmes de résolution du problème. Face aux grands volumes de données, une telle séparation n’est plus efficace et l’analyse doit mêler statistique et optimisation. Dans ce cours, seront présentés de manière unifiée les résultats statistiques classiques sur la M-estimation et l’optimisation convexe, en montrant les liens entre statistique et optimisation. Un accent sera mis sur l’analyse non-asymptotique de l’approximation stochastique.

Objectifs

  • Maîtriser les outils mathématiques pour l’analyse d’algorithmes de gradient stochastique.
  • Comprendre les liens entre les propriétés de convergence des algorithmes et la régularité du problème sous-jacent (comme la convexité forte).
  • Savoir démontrer les différents résultats présentés.

Prérequis : pas de prérequis à l’exception des connaissances élémentaires en analyse convexe (fonctions et ensembles convexes), en probabilités (espérance conditionnelle et outils simples de grandes déviations) et statistique (regression linéaire et logistique).

Note finale : (a) Présence en cours obligatoire, (b) TPs simples d’implémentation des principaux algorithmes (20%), (c) Présentation d’article (80%).