Projets

Les algorithms d'apprentissage par renforcement visent à trouver une politique permettant de déterminer l'action à appliquer dans un état donné pour maximiser une récompense sur un certain horizon. La robotique cumule plusieurs défis pour ces algorithmes. Les espaces d'états comme les espace d'action sont continus, les récompenses sont rares, les fonctions de transition peuvent être bruitées, etc.

En robotique, la perception active désigne de manière générale tout processus visant à améliorer la qualité du flux de données entrant dont la tâche en cours dépend. Par exemple, il peut servir en vision par ordinateur à guider la recherche de correspondances entre points d'intérêt dans des images afin d'estimer l'état de l'agent et de l'environnement [1], ou à éviter les occlusions afin de conserver un objet d'intérêt dans le champ de vision [2].

Le site Logic Modal Playground (https://rkirsling.github.io/modallogic/) offre une interface graphique intuitive (javascript avec D3/MathJax) permettant de spécifier des modèles, et de vérifier des formules de logique modale.
Toutefois, le site reste limité, en particulier par le fait qu'il n'est pas possible de définir de modèles mutli-agents. On propose donc dans ce projet d'étendre ses fonctionnalités, en permettant:
* de spécifier plusieurs relations (multi-agents);

Un projet P-Androide 2019-2020 a consisté à mettre au point des outils de visualisation du paysage de valeur et des trajectoires de descente de gradient pour mieux comprendre la dynamique des algorithmes d’apprentissage par renforcement. Ces outils ont été appliqués à l’environnement de contrôle classique Swimmer et en utilisant l’algorithme Twin Delayed Deterministic Gradient (TD3).

L’objet de ce projet est à la fois d’enrichir les outils et de mieux démontrer leur utilité dans le cadre d’une étude à la fois plus précise et plus large.

Les méthodes évolutionnaires et les méthodes d’apprentissage par renforcement constituent deux alternatives pour résoudre des problème de recherche d’une politique optimale sur des problèmes où les actions sont continues. L’objet de ce projet est de se livrer à une comparaison systématique des propriétés de ces deux approches dans des environnements classiques de faible dimension tels que CartPole, Pendulum, Mountain Car et éventuellement des labyrinthes classiques tels que Deceptive Maze ou Simple Maze.

Les algorithmes d’apprentissage par renforcement profond à actions continues sont souvent appliqués en simulation à des problèmes de contrôle de grande taille tels que les benchmarks MuJoCo où il faut contrôler un “demi-guépard” (HalfCheetah), un serpent nageur (Swimmer), une “araignée” à 4 pattes (Ant) ou un humanoïde plus ou moins complet (Hopper, Walker, Humanoid)...

Le but de ce projet est le développement d'une interface web permettant d'illustrer
le principe de l'élicitation incrémentale pour l'aide à la décision en optimisation
combinatoire multi-critères.
Prenons l'exemple suivant : vous souhaitez visiter un ensemble de villes en Asie
durant un temps limité. Vous voulez trouver un ordre de visite minimisant les
temps de trajet et le prix, tout en maximisant le confort et la beauté des paysages
parcourus. Étant donné la présence de plusieurs critères à optimiser, plusieurs solutions

On s'intéresse dans ce projet à l'étude de dynamiques multiagents dans le cadre d'allocation de ressources. En particulier, on étudiera comment des échanges tri-partites, ie. impliquant 3 agents, peuvent mener à des allocations de bonnes propriétés théoriques (allocations populaires, c'est-à-dire qu'il n'existe pas de majorité d'agents préférant une autre allocation). Il est connu que ces dynamiques peuvent exhiber des comportements non-trviaux (cycles en particulier).

Ce projet s'inscrit dans le cadre d'une collaboration entre l’IRD et l’équipe Système Multi-Agents du LIP6. L'objectif est d'évaluer, à l'aide d'un drone partiellement autonome les dépôts d'ordures et les écosystèmes agro-pastoraux sur le littoral Sénégalais.

Les résultats doivent permettre d'améliorer le pilotage des actions de protection de l'environnement et des éco-systèmes agro-pastoraux par la réalisation d'un état des lieux et l'identification des zones ou concentrer les efforts.

Les besoins en puissance de calcul ont augmenté de manière significative ces dernières années. Cette puissance de calcul s'accompagne par une consommation énergétique de plus en plus grande. Afin de faire face à cette situation, la taille des plateformes de calcul haute performance a considérablement augmentée. La conception d'algorithmes de placement de tâches plus efficaces est désormais une priorité dans le domaine du calcul haute performance.