Projets

L'éthique computationelle s'intéresse à la modélisation de différents principes éthiques et ce travail s'inscrit dans un cadre déclaratif d'évaluations d'actions organisé selon différents modèles. Le cadre actuel s'intéresse à la prise de décision d'un agent isolé dans un cadre déterministe. L'objectif de ce projet est d'explorer les ramifications de la présence d'autres acteurs sur les prises de décisions éthiques et sur les notions relatives (telles que les questions de responsabilités).

Ce projet consiste en premier lieu à implémenter de façon efficace et tester un algorithme d'étude de stabilité dans un réseau d'agent évoluant sur le modèle des "jeux de révision de croyance". Les jeux de révison de croyance sont un formalisme pour représenter des mécanismes d'influences entre agents.

Le but de ce projet est de comparer des solveurs de Processus de Décision Markoviens. Il existe 2 grandes manières de résoudre un processus de Décision Markovien soit par de la programmation linéaire soit par de la programmation dynamique. Nous voudrions comparer d'une part la résolution par de la programmation linéaire à l'aide d'un solveur classique du domaine (soit gurobi soit cplex) et comparer ensuite des solveurs qui utilisent de la programmation dynamique comme MDP toolbox et marmoteMDP.

Les diagrammes d'influence sont des extensions des arbres de décision permettant la modélisation et la résolution de problème de décision. Ils se situent donc entre les arbres de décision, les processus de décision Markoviens et les réseaux bayésiens. Ce cadre de modélisation permet d'expliciter des tâches décisionnels très complexes et difficiles à résoudre.

Il est souvent difficile de comparer des implémentations différentes d'algorithmes avancés car elles impliquent une grande variété dans les formats d'entrée et de sortie, les conditions d'utilisation, et même les langages de programmation utilisés, etc.

Les algorithms d'apprentissage par renforcement visent à trouver une politique permettant de déterminer l'action à appliquer dans un état donné pour maximiser une récompense sur un certain horizon. La robotique cumule plusieurs défis pour ces algorithmes. Les espaces d'états comme les espace d'action sont continus, les récompenses sont rares, les fonctions de transition peuvent être bruitées, etc. Une solution à ces défis consiste à définir des politiques paramétrées et à explorer l'espace de ces paramètres en testant les politiques correspondantes et en mesurant la récompense obtenue.

En robotique, la perception active désigne de manière générale tout processus visant à améliorer la qualité du flux de données entrant dont la tâche en cours dépend. Par exemple, il peut servir en vision par ordinateur à guider la recherche de correspondances entre points d'intérêt dans des images afin d'estimer l'état de l'agent et de l'environnement [1], ou à éviter les occlusions afin de conserver un objet d'intérêt dans le champ de vision [2].

Le site Logic Modal Playground (https://rkirsling.github.io/modallogic/) offre une interface graphique intuitive (javascript avec D3/MathJax) permettant de spécifier des modèles, et de vérifier des formules de logique modale.
Toutefois, le site reste limité, en particulier par le fait qu'il n'est pas possible de définir de modèles mutli-agents. On propose donc dans ce projet d'étendre ses fonctionnalités, en permettant:
* de spécifier plusieurs relations (multi-agents);

Un projet P-Androide 2019-2020 a consisté à mettre au point des outils de visualisation du paysage de valeur et des trajectoires de descente de gradient pour mieux comprendre la dynamique des algorithmes d’apprentissage par renforcement. Ces outils ont été appliqués à l’environnement de contrôle classique Swimmer et en utilisant l’algorithme Twin Delayed Deterministic Gradient (TD3).

L’objet de ce projet est à la fois d’enrichir les outils et de mieux démontrer leur utilité dans le cadre d’une étude à la fois plus précise et plus large.