Projets

Ce sujet porte sur l'apprentissage en ligne et distribué de comportement pour la robotique en essaim. Du fait de communication limitée entre individus de l'essaim, on observe parfois des comportements coopératifs sous-optimaux au niveau de l'individu, qui semble bénéficier aux voisins, et plus généralement affecte positivement la performance collective.

La robotique en essaim s'intéresse à de grande population de robots aux capacités de communication et de calcul limitée. Il s'agit d'obtenir un comportement collectif à partir d'interaction locale. Dans ce projet, nous nous intéressons à la morphogénèse, c'est à dire l'organisation d'un essaim de robots pour correspondre à une structure pré-définie.

(toujours dispo au 9/1/2020 - 2 ou 3 étudiants - co-encadrement: N. Bredeche et N. Maudet)

On s'intéresse dans ce projet au problème du best-of-n en robotique essaim, dans lequel il s'agit pour un ensemble de robots aux capacités de communication et de calcul limitées. L'objectif de ce projet est d'étudier l'émergence de consensus en utilisant soit un algorithme dédié, soit un algorithme d'apprentissage. Le projet sera mené sur robots réels (une centaine de Kilobots), disponible à l'ISIR.

Les problèmes d'ordonnancement traitent de l'affectation de tâches à des machines, et de l'exécution de ces tâches au cours du temps : il s'agit de savoir où - sur quelle machine - et quand commencera chaque tâche.

Dans le but de proposer une approche de classification collaborative, nous considérons le problème de la détection d'intrusions.

Dans le domaine de la <a href="http://bayes.cs.ucla.edu/WHY/">causalité</a&gt;, un calcul efficace et exhaustif des probabilités <em>par intervention</em> a été proposé par Judea Pearl (prix Turing, 2012). Ce calcul demande la représentation d'un modèle causal, extension d'un modèle probabiliste puis permet de déterminer la possibilité du calcul d'un impact causal.

Un grand nombre d'applications pourraient être intéressées par la possibilité d'intégrer un module de calcul probabiliste afin de fournir un score, une probabilités sur un état, un contexte, l'utilisateur, etc. Il est toutefois difficile d'embarquer un logiciel complet de calcul de probabilités complexes car ces logiciels sont assez lourds et gourmands en temps et en mémoire.

Dans le cadre de l'analyse décisionnelle, il est souvent intéressant, par exemple dans une application d'aide au diagnostic, de chercher à optimiser les séquences de questions/réparations qui permettront de trouver la cause d'une panne, d'un défaut, d'une maladie, etc. Un outil souvent décrit dans ce cadre est celui du calcul de la valeur de l'information parfaite (Value of Perfect Information, VPI).

L'évaluation d'algorithmes d'apprentissage par renforcement profond à actions continues repose sur l'utilisation de benchmarks standards qui consistent souvent en la simulation d'un système physique plus ou moins complexe qu'il faut contrôler. Parmi ces nombreux benchmarks (Half-Cheetah, Ant, Humanoid, etc.), Swimmer est un cas particulier.

Un projet P-ANDROIDE réalisé en 2019 a permis de démontrer la faisabilité d'utiliser différents algorithmes d'apprentissage par renforcement pour apprendre à piloter une voiture sur circuit, en utilisant l'environnement de simulation TORCS:
https://github.com/WissamAKRETCHE/DDPG-Keras-TORCS