Théorie de l’apprentissage

La théorie de l’apprentissage cherche à comprendre et modéliser les phénomènes qui entrent en jeu dans le processus d’apprentissage machine. La plupart du temps, cette théorie s’intéresse plus particulièrement à l’apprentissage supervisé.

Voici quelques exemples de questions que l’on peut se poser en théorie de l’apprentissage :

• Peut-on résoudre un problème raisonnablement par apprentissage ?
• Comment garantir les performances de l’apprentissage ?
• Comment construire des algorithmes pour optimiser ces garanties/performances ?
• Comment définir des bonnes pratiques pour l’apprentissage ?

Différentes théories ont été proposées, et nous nous concentrerons ici sur les théories statistiques, et en particulier sur l’apprentissage PAC et l’apprentissage PAC agnostique.

Nous verrons en partiulier comment dériver des garanties sur les performances en généralisation au travers de bornes sur l’erreur de généralisation exprimées en fonction de différentes mesures de capacité telles que le nombre de modèles, la VC dimension, ou la complexité de Rademacher.