<strong>Contexte :</strong>
Les méthodes d'apprentissage profond (deep learning) obtiennent des performances remarquables sur un grand nombre de tâches de reconnaissance des formes, lorsqu'elles sont confrontées à des données statiques. L'exploitation de dépendances temporelles à long terme dans un flux de données dynamiques, en revanche, est un sujet encore ouvert. Récemment, plusieurs extensions de méthodes
d'apprentissage profond ont été proposées dans cette direction [1,2,3].
Apprendre des représentations temporelles pertinentes du flux sensorimoteur reçu par un robot est un problème d'intérêt majeur pour la robotique développementale. Dans le cadre du projet Européen DREAM, il convient donc d'analyser ces méthodes et de mettre en évidence leur apport potentiel à la construction de représentations hiérarchiques pertinentes pour la décision des robots autonomes.
<strong>Objectifs :</strong>
L'objet principal du stage est de se doter d'une bonne maîtrise conceptuelle et pratique des méthodes d'apprentissage profond dédiées à l'extraction de représentations temporelles d'un flux de données sensorimotrices. Dans ce but, on s'appuiera sur des travaux préalables de l'ISIR sur les « gated autoencoders » [4] pour y adjoindre les approches présentées notamment dans [1,2,3], les analyser
et les comparer entre elles. Les algorithmes correspondants devront être codés et testés sur des jeux de données produits par le robot humanoïde iCub.
<strong>Profil recherché :</strong>
Le stage sera l'occasion d'acquérir une solide compétence sur les méthodes d'apprentissage profond et la robotique développementale. Une connaissance préalable de ces domaines est bienvenue. Par ailleurs, un bon niveau en programmation et une certaine capacité d'analyse mathématiques sont requises. Un élève ingénieur effectuant un master de recherche et intéressé par une thèse après son
stage serait le candidat idéal.
<strong>Références :</strong>
• [1] : Michalski, Vincent, Memisevic, Roland, and Konda, Kishore (2014) Modeling deep temporal dependencies with recurrent ”grammar cells”. In NIPS 2014, pp. 1925–1933.
• [2] : Sutskever, Ilya, Martens, James, and Hinton, Geoffrey E. (2011) Generating text with recurrent neural networks. In Proceedings of the 28th International Conference on Machine Learning (ICML-11) , pp. 1017–1024.
• [3] : Taylor, Graham W., Hinton, Geoffrey E., and Roweis, Sam T. Two Distributed-State Models For Generating High-Dimensional Time Series. The Journal of Machine Learning Research , 12: 1025–1068, 2011. ISSN 1532-4435.
• [4] : Droniou, Alain and Sigaud, Olivier. (2013) Gated autoencoders with tied input weights. In Proceedings of the 29th International Conference on Machine Learning (ICML) pp. 1–6.