Apprentissage par renforcement avec approximateurs RBFN

Résumé :

L’objectif du projet est de permettre d’utiliser les Radial Basis Function Networks (RBFN) comme approximateurs de fonctions pour l’apprentissage par renforcement dans la librairie Stable Baselines 3.

Sujet développé :

Les algorithmes d’apprentissage par renforcement profond (deep reinforcement learning, ou deep RL) utilisent généralement des réseaux de neurones comme approximateurs de fonctions, ce qui complexifie l’étude de leur comportement. La plupart des librairies de deep RL proposent un ensemble d’algorithmes qui reposent sur de tels approximateurs. C’est le cas notamment de la bibliothèque Stable Baselines 3, qui est l’une des plus utilisées.

Les Radial Basis Function Networks (RBFN) sont des approximateurs de fonctions plus simples qui peuvent remplir le même rôle que les réseaux de neurones quand la dimension du problème d’apprentissage n’est pas trop élevée. L’objet de ce projet est d’intégrer à la bibliothèque Stable Baselines 3 la possibilité d’utiliser des RBFN comme approximateurs de fonctions, puis de réaliser quelques évaluations des algorithmes d’apprentissage par renforcement utilisant ces approximateurs.

Ce projet faisant appel à de nombreuses notions nouvelles pour les étudiants, une formation initiale à l’apprentissage par renforcement profond et à des aspects méthodologiques sera assurée durant les premières semaines, à l’aide de vidéos de cours, TP sous Google colab et sessions avec le tuteur.

Une forte motivation pour le machine learning, des bonnes bases en programmation python et une certaine familiarité avec github sont des prérequis.

Références

Stable Baselines 3 :
https://github.com/DLR-RM/stable-baselines3

Un exemple de code de RBFN en pytorch
https://github.com/JeremyLinux/PyTorch-Radial-Basis-Function-Layer

Encadrant: 
Olivier Sigaud
Nombre d'étudiants: 
4
Attribué: 
No
Deprecated: 
Yes

User login