Voir et être vu : modélisation de l’attention sociale chez un agent conversationnel

Contexte : Les agents conversationnels peuvent prendre l’apparence humaine et peuvent communiquer verbalement ou non-verbalement. Ils peuvent être utilisés comme interface dans l'interaction humain-machine en jouant plusieurs rôles comme assistant, enseignant, guide ou compagnon. Ils sont dotés d'une capacité de communication, c'est-à-dire qu'ils peuvent dialoguer avec les humains par des moyens de communication verbaux et non verbaux.
Durant une interaction, les agents communiquent via leurs expressions faciales, regard, posture, gestes. Ces comportements peuvent avoir plusieurs fonctions communicatives telles que gérer les tours de parole, souligner une information importante, montrer un état émotionnel ou une attitude sociale. L’agent peut exprimer son engagement dans l’interaction par son regard et ses expressions en réponse des comportements de son interlocuteur humain. L’agent peut indiquer qu’il perçoit, écoute, est en accord ou désaccord. L’agent peut être soit virtuel (comme l’agent GRETA à gauche de la figure) soit physique (comme le robot Berenson à droite de la figure).
Objectif du stage :
L’objectif de ce stage est de doter l’agent d’attention sociale pour donner à l’humain la sensation de présence et le sentiment d’être vu. Pour cela l’agent doit pouvoir détecter la direction de regard de son interlocuteur humain ainsi que son comportement non verbal, décider comment réagir et générer une réponse multimodale. Dans ce stage on se focalisera particulièrement sur le regard.
Après avoir fait une revue de la littérature sur l’attention sociale et la modélisation du regard chez les agents (Myllyneva & Hietanen, 2016 ; Ruhland et al, 2014), 3 étapes principales sont envisagées :
1) Mettre en place une plateforme pour mesurer où l’humain regarde durant l’interaction en utilisant les outils OpenSource : OpenFace (Baltrusaitis et al., 2018), OpenSense (Stefanov et al., 2020) et/ou OpenPose (Cao et al, 2018).
2) Modélisation et mise en place des scénarios susceptibles d’évoquer le sentiment d’être vu. Le scénario de l’étude, qui sera finalisé durant le stage, implique un participant humain et un agent virtuel/physique.
3) Étude expérimentale : Le comportement de l’agent sera manipulé pour mesurer son impact dans la perception du participant humain ainsi que dans la qualité de l’interaction. Ces mesures seront obtenues par questionnaires.

L’agent sera aussi bien virtuel comme l’agent Greta (https://github.com/isir/greta) que physique, comme par exemple les têtes robotiques développées en collaboration dans le cadre du projet européen FEELIX GROWING (https://en.wikipedia.org/wiki/Feelix_Growing) ou celle utilisée sur le robot Berenson (https://www.ensea.fr/fr/berenson-le-robot-amateur-dart-du-laboratoire-et...).
Références:
Baltrusaitis, T., Zadeh, A., Lim, Y. C., & Morency, L. P. (2018, May). Openface 2.0: Facial behavior analysis toolkit. In 2018 13th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2018) (pp. 59-66). IEEE.
Cao, Z., Hidalgo, G., Simon, T., Wei, S. E., & Sheikh, Y. (2018). OpenPose: realtime multi-person 2D pose estimation using Part Affinity Fields. arXiv preprint arXiv:1812.08008.
Ruhland K., Sean Andrist, Jeremy Badler, Christopher Peters, Norman Badler, et al.. Look me in the eyes: A survey of eye and gaze animation for virtual agents and artificial systems. Eurographics 2014 - State of the Art Reports, Apr 2014, Strasbourg, France. pp.69-91, 10.2312/egst.20141036. hal-01025241
Laidlaw, K. E., Foulsham, T., Kuhn, G., & Kingstone, A. (2011). Potential social interactions are important to social attention. Proceedings of the National Academy of Sciences, 108(14), 5548-5553.
Myllyneva, A., & Hietanen, J. K. (2016). The dual nature of eye contact: to see and to be seen. Social Cognitive and Affective Neuroscience, 11(7), 1089-1095.

Stefanov, K., Huang, B., Li, Z., & Soleymani, M. (2020, October). OpenSense: A Platform for Multimodal Data Acquisition and Behavior Perception. In Proceedings of the 2020 International Conference on Multimodal Interaction (pp. 660-664).

Syrjämäki, A. H., Isokoski, P., Surakka, V., Pasanen, T. P., & Hietanen, J. K. (2020). Eye contact in virtual reality–A psychophysiological study. Computers in Human Behavior, 112, 106454.