Objectifs

  • bien comprendre les différents modèles et contextes de prédiction en ligne (prédiction séquentielle, problème de bandit, transfer learning…);
  • comprendre et savoir implémenter l’algorithme de gradient en ligne ; comprendre le fonctionnement de l’agrégation à poids exponentiels.
  • être capable de comprendre un article de recherche sur la problématique de la prédiction en ligne.

Descriptif du cours

Ce cours constitue une introduction à l’apprentissage en-ligne, c’est-à-dire quand les données sont révélées au fur et à mesure du processus d’apprentissage plutôt que sous la forme d’un échantillon donné une fois pour toutes. Après une rapide introduction aux méthodes incontournables (halving, online gradient), on s’intéressera aux méthodes d’agrégation. L’idée de base est, étant donné plusieurs prédicteurs, de les faire voter en leur attribuant des poids spécifiques plutôt que d’en choisir un seul. Ces méthodes permettront des résultats optimaux dans des conditions extrêmement générales.

Dans un second temps, on reviendra au cadre d’apprentissage “batch” ou “off-line” plus classique: on verra que les méthodes d’agrégation proposées précedemment peuvent également s’utiliser dans ce cas. On discutera également les différents algorithmes possibles pour implémenter ces méthodes: MCMC et méthodes variationnelles.

A la fin du cours, on étudiera des contextes un peu moins standards, comme les problèmes de bandits (où l’on a qu’une information partielle sur l’effet de chaque décision prise) et les problèmes de transfer learning et lifelong learning, qui permettent de réutiliser l’information acquise en résolvant un problème statistique pour en résoudre de nouveaux.

Deux ou trois séances seront dédiées à l’implémentation en R ou Python des algorithmes vus en cours et à leur test sur des jeux de données. Le cours sera évalué par un court projet (résumé d’un article de recherche, implémentation éventuelle des méthodes proposées dans l’article).

Prérequis : les concepts de base en algèbre linéaire et en analyse convexe. Surtout, une connaissance raisonnable de la théorie des probabilités.

Note finale : soutenance orale d’un projet.