(English bellow) (Details in the attached file)
L’apprentissage de la saisie d’objets en robotique fait l’objet d’une attention croissante depuis plusieurs années, justifiée par les forts enjeux scientifiques et pratiques qui lui sont associés [1]. Si l’environnement est parfaitement déterministe, le problème est relativement simple : il s’agit de commander un bras manipulateur pour atteindre des positions précises, et ouvrir ou fermer le préhenseur. Mais ces approches se limitent à des scénarios très fortement contraints. Malgré les efforts de grands acteurs universitaires et industriels, réaliser de la saisie d’objet en environnement non-contrôlé est une tâche encore irrésolue, et soumise à de nombreuses difficultés [2].
D’une part, il s’agit d’un problème d’exploration difficile : il est très délicat de produire des saisies réussies avec un robot tant que l’on ne dispose pas d’un contrôleur efficace, autrement dit, tant que le problème n’est pas résolu. D’autre part, les expériences sur robots réels sont coû teuses, lentes, et sujettes à de nombreux problèmes d’intégration et de maintenance. L’apprentissage en simulation est donc préférable, mais le décalage entre simulation et réalité aboutit souvent à des problèmes de transférabilité des politiques entraî nées en simulation.
Le moyen le plus commun d’aborder ce problème est de le simplifier en le considérant comme une tâche d’estimation de position de saisie sur un objet. D’abord sous la forme de prédictions de positions dans le plan, limitant la saisie à des mouvements du haut vers le bas [3], puis en ouvrant le problème à l’estimation de positions 6-DoF (position et orientation du préhenseur) [4]. Cependant, ces méthodes imposent de fortes hypothèses sur la structure du préhenseur, qui limitent ces travaux à des pinces parallèles ou à des préhenseurs pneumatiques.
Les algorithmes de recherche de nouveauté [5] sont des méthodes d’apprentissage évolutionnaire permettant d’aborder le problème d’exploration difficile en générant des trajectoires de saisie diverses. Les larges couvertures de préhension obtenues par ce genre d’approches [6] suggèrent que l’on peut les exploiter pour réaliser de la détection de positions de saisies 6 DoF, qui peuvent ensuite être conjuguées à des méthodes de planification ou d’apprentissage par renforcement. Ces méthodes présentent l’avantage de pouvoir être appliquées avec les mê mes hyperparamètres pour des préhenseurs divers sans avoir à contraindre l’identification des positions de saisies par de fortes hypothèses sur la nature du préhenseur.
*) Objectifs du stage :
L’objectif de ce stage est de s’appuyer sur les travaux antérieurs de l’équipe [6][7] pour générer des bases de données d’exemples de saisies sur différents robots, préhenseurs et objets. A partir de ces bases de données, il s’agit d’extraire des informations liées à la saisie pour identifier des positions pertinentes, puis de réaliser une étude comparative des potentialités de ces méthodes avec d’autres approches de l’état de l’art mettant en jeu des types de modèles divers (DL, CNNs, GPs, GANs, ...).
Ce stage peut, le cas échéant, aboutir à une publication dans une conférence internationale en Vision par Ordinateur / Robotique / IA.
*) Profil recherché :
Nous invitons les étudiants et étudiantes ayant un solide parcours académique en Intelligence Artificielle, Apprentissage Automatique ou en Science des données à proposer leur candidature, en particulier si celui-ci les a familiarisés avec la Robotique et/ou la Vision par Ordinateur.
*) Compétences :
- Requises : Python, traitement de données, algorithmes d’apprentissages (théorie : méthodes classiques, apprentissage profond, CNN ; pratique : framework IA comme PyTorch), mesures et visualisation (matplotlib, seaborn).
- Optionnelles : Simulateurs robotiques (PyBullet, Isaac Gym ...), vision par ordinateur, algorithmes évolutionnaires, parallélisation de calculs (CPU et GPU).
- Transversales : Appétence pour l’ingénierie orientée R&D, ou la recherche. Curiosité, esprit de synthèse. Initiative dans la recherche, développement de code robuste, clair et réutilisable.
*) Postuler :
Contactez par email Stéphane Doncieux et Johann Huber (stephane.doncieux (arobase) isir.upmc.fr ; johann.huber (arobase) isir.upmc.fr), en joignant un CV et une lettre de motivation. Il est fortement recommandé de joindre également un ou plusieurs projet(s) personnel(s) (github, etc.). Précisez [apprentissage_saisie_objets] en objet.
----
Learning to grasp in robotics has received increasing attention for several years, justified by the high scientific and practical stakes associated with it [1]. This problem is quite simple in a deterministic environment: it consists in controlling a manipulator arm to reach precise positions and open or close the gripper. But these approaches are limited to heavily constrained scenarios.
Despite the efforts of major academic and industrial players, performing object grasping in an uncontrolled environment is still an unsolved task [2].
First, it is a hard exploration problem: it is very difficult to make the robot produce successful grasps until an effective controller is available - in other words, until the problem is solved. Second, experiments with real robots are expensive, slow, and subject to many integration and maintenance problems. Training policies in simulation is therefore preferable, but the reality gap often makes the generated solutions inefficient on a real robot.
The most common way to tackle this problem is to simplify it by considering it as a grasp pose estimation task. This was first done in the form of in-plane position predictions, limiting the policies to top-down movements [3], and more recently by doing 6-DoF pose estimation (gripper position and orientation) [4]. However, these methods impose strong assumptions on the gripper structure, limiting the related works to parallel grippers or suction grippers. Novelty search based algorithms [5] are evolutionary methods designed to tackle hard exploration problems by looking for diverse solutions instead of the optimal one from a fitness perspective. The large grasp coverages obtained by such approaches [6] suggest that they can be exploited to perform grasp position detection, which can then be combined with planning or reinforcement learning algorithms. These methods have the advantage of being platform-
agnostic : the same hyperparameters work for multiple robots & grippers, without constraining the pose estimation with strong assumptions on the end effector’s shape.
*) Internship Objectives:
The goal of this internship is to leverage some of the team’s previous works [6][7] to generate databases of grasping examples for multiple robots, grippers and objects. Using these databases, one can extract key features to identify relevant grasp poses. A comparative study with other state-of-the-art approaches involving various types of models (DLs, CNNs, GPs, GANs, etc.) must eventually be carried out.
This internship may lead to a publication in Computer Vision, Robotics or AI.
*) Required Profile:
Students with a strong academic background in Artificial Intelligence, Machine Learning or Data Science. Robotics and/or Computer Vision background is a plus.
*) Skills :
- Required : Python, data science, machine learning (theory : standard methods, DL, CNN ; in practice : AI framework (PyTorch, ...)), measurement and visualisation (matplotlib, seaborn).
- Optional : Robotics simulators (PyBullet, Isaac Gym ...), Computer vision, evolutionary algorithms, high performance computing (CPU et GPU).
*) Apply :
Send a CV and a cover letter to Stéphane Doncieux and Johann Huber: stephane.doncieux (at) isir.upmc.fr ; johann.huber (at) isir.upmc.fr). Please also consider sharing some of your personal projects (github, etc.). Add [apprentissage_saisie_objets] to the email's header.
----
*) Références / References :
[1] Hodson R. A gripping problem: designing machines that can grasp and manipulate objects with
anything approaching human levels of dexterity is first on the to-do list for robotics. In: Nature;
2018.
[2] Kleeberger, K., Bormann, R., Kraus, W., & Huber, M. F. (2020). A survey on learning-based
robotic grasping. Current Robotics Reports, 1(4), 239-249.
[3] Lenz, I., Lee, H., & Saxena, A. (2015). Deep learning for detecting robotic grasps. The
International Journal of Robotics Research, 34(4-5), 705-724.
[4] Newbury, R., Gu, M., Chumbley, L., Mousavian, A., Eppner, C., Leitner, J., ... & Cosgun, A.
(2022). Deep Learning Approaches to Grasp Synthesis: A Review. arXiv preprint
arXiv:2207.02556.
[5] Lehman, J., & Stanley, K. O. (2011). Abandoning objectives: Evolution through the search for
novelty alone. Evolutionary computation, 19(2), 189-223.
[6] Huber, J., Sane, O., Coninx, A., Ben Amar, F., Doncieux, S. (2022). E2R: a Hierarchical- Learning
inspired Novelty-Search method to generate diverse repertoires of grasping trajectories. arXiv
preprint arXiv:2210.07887.
[7] Morel, A., Kunimoto, Y., Coninx, A., & Doncieux, S. (2022). Automatic Acquisition of a
Repertoire of Diverse Grasping Trajectories through Behavior Shaping and Novelty Search. IEEE
International Conference on Robotics and Automation (ICRA) ‘22.