Continual deep learning

MOOC 1: AutoEncodeur android

Ce cours en ligne est un MOOC gratuit en français sur le deep learning, avec une approche qui se différencie des nombreux autres cours et tutoriels en ligne que vous pouvez trouver sur Internet sur les points suivants:

Format

  • Ce cours a été pensé dès sa création en vue d’être accessible aux mal-voyants:
    • Très peu de figures, pas de videos
    • Accessible en mode texte (rédigé avec markdown & reveal.js)
    • Accompagné de commentaires audio
  • Je n’ai toutefois pas encore pu interagir avec des non-voyants pour évaluer l’accessibilité effective du cours, et il reste donc certainement encore de nombreux problèmes: merci de me contacter SVP si vous êtes intéressés par ce cours dans ce contexte.
  • Le cours est ouvert, gratuit, en ligne, sans identification requise, sans tracking.

Contenu et objectifs

  • Le cours se focalise sur du deep learning “frugal”, c’est-à-dire ne nécessitant pas de grosses puissances de calcul, ni de GPU, mais adapté au matériel à la disposition de tout le monde, en l’occurrence un téléphone sous android.
  • L’objectif à long terme est de rendre le deep learning compatible avec du “continual learning”, c’est-à-dire plutôt que de construire le plus rapidement possible de très gros modèles, entraîner lentement (mais sûrement) des parties d’un modèle global, multi-tâches.
  • Cette approche permet également de développer progressivement une vision alternative du “Federated Deep Learning”, dans laquelle un réseau de resources de calcul collaborent de manière décentralisée afin d’améliorer leurs modèles respectifs.
  • Mais l’objectif premier est évidemment de démocratiser autant que possible la connaissance précise du deep learning.

Le premier cours de cette série est disponible ici:

Notes

See also