HIT-EE : un algorithme ultra-léger d'apprentissage distribué en ligne pour la robotique en essaim

On parle de robotique en essaim dès lors que l'on considère un groupe compris de nombreux (typiquement >100) robots aux capacités de communication et de calcul limitées. L'objectif est alors de programmer les robots individuellement afin qu'ils réalisent collectivement un comportement souhaité. On fait alors face à un problème de grande difficulté, puisque le résultat entre les multiples interactions entre robots et l'environnement est très difficile à prévoir. Il est alors naturel de recourir à l'apprentissage et/ou l'optimisation des stratégies comportementales individuelles en définissant une fonction capable d'évaluer la performance globale de l'essaim.

Dans le cadre de ce stage, on s'intéresse au cas particulier où l'environnement est ouvert, c'est à dire qu'il n'est pas possible d'optimiser avant déploiement le comportement des robots. De plus, on souhaite implémenter une solution qui fonctionnera sur des robots aux capacités très limitées: un essaim de 120 robots Kilobots dont nous disposons à l'ISIR. Il s'agit de robots de 3cm de diamètre programmable par infra-rouge. La limitation des Kilobots est le prix a payer pour disposer d'un essaim de grande taille, toutes les expériences impliquant de l'apprentissage distribué en ligne étant pour l'instant limitée à des groupes inférieurs à 20 robots.

Les algorithmes dit d'"embodied evolution" apportent des éléments de réponse au problème que nous nous posons, mais sont partiellement inadaptés pour des robots limités comme les Kilobots. Nous souhaitons donc développer un nouvel algorithme, que l'on nommera HIT-EE (Horizontal Information Transfer for Embodied Evolution) qui s'inspire du mécanisme biologique de transfert horizontal de gènes (ie. pour simplifier outrageusement, un gène peut passer d'une bactérie à l'autre au cours de la vie des deux bactéries, permettant un brassage génétique en sus de la mutation lors de la réplication).

L'intérêt d'un tel algorithme est double: (1) il est plus léger et plus facile à implémenter en réduisant la quantité d'information transmise et (2) considéré un transfert partiel au cours de la "vie" du robot permet de sortir de la métaphore de l'évolution naturelle et d'aborder des problématiques propres à l'apprentissage social. En particulier, nous étudierons les modalités du transfert d'information: quantité d'information transmise, influence de l'heuristique utilisée pour l'émission et pour la réception, influence de l'asymétrie dans la communication, modulation de la fréquence de transmission en fonction de la performance, etc.

Dans un deuxième temps, on évaluera la qualité de ce nouvel algorithme par rapport à l'état de l'art dans un cadre plus général. On mettra en place un protocole d'évaluation de la qualité de l'algorithme, basés sur des problèmes classiques de théorie de jeux évolutionnaires dans un environnement multi-robots (dilemme du prisonnier, chasse au cerf, etc.). Dans une forme simplifiée, il s'agira d'abord de modéliser les interactions entre robots sous la forme d'un graphe d'interaction, puis d'étendre la simulation en intégrant les déplacements. Cette partie du travail sera réalisée en simulation pour permettre un grand nombre d'expériences.

Le stage sera réalisé à l'ISIR, en utilisant la plateforme robotique déjà disponible. Le stage se déroulera à l'ISIR de février à juillet 2019. Le stage s'inscrit dans le cadre du projet ANR "Morpho-functional Swarm Robotics" (2019-2022).

Lieu: 
ISIR, Sorbonne Université
Encadrant: 
Nicolas Bredeche
Référent Universitaire: 
n/a
Attribué: 
No
Année: 
2 019

User login