Development psychology inspired models for physical and social reasoning in human-robot joint action
Modèles inspirés de la psychologie du développement pour le raisonnement physique et social dans le cadre de l'action jointe humain-robot
Résumé
In order to perform a collaborative task with a person, a robot needs to be able to reason about the objects and the people it interacts with.
Developmental psychology gives a good insight into how children develop models of the world, which can help to design new robotic architectures for efficient and robust human-robot interactions.
In the first place, we present an architecture based on a hybrid data structure that combines geometric and relational information and neural representations. This architecture aims to benefit from recent progress in computer vision and natural language processing while enabling efficient 3D reasoning by building on top of that a consistent 3D model of the world, which allows image rendering from any point of view in the scene.
Then we explore two key reasoning modalities in the context of a human-robot joint action: physical reasoning and belief reasoning. Physical reasoning allows the robot to use Newtonian physics to reason about objects that are not visible while monitoring what is physically plausible to infer actions.
In this thesis, we present a work inspired by developmental psychology in which we use a physics simulator to correct the position of perceived objects and infer the position of non-visible objects using Newtonian physics. The algorithm is also able to infer the human partner’s actions by analyzing physical violations between the simulated world and the perceived one. Beliefs reasoning is another key feature for robots that assist humans. At its core, this reasoning is based on visual perspective taking: the ability to reason from the point of view of another person.
In this thesis, we also show the modularity of the approach by binding ontology-based reasoners and the situation-assessment component developed that allows visual perspective-taking. This interaction allows querying entities generated by the perceptual and physical system using SPARQL language. We show interest in this approach with preliminary work on using neural-based language models that benefit from the expressiveness of SPARQL queries.
We conclude with a discussion about the system’s limitations and we open to future work that could lead to exciting research in this field.
Afin d'effectuer une tâche collaborative avec une personne, un robot doit être capable de raisonner sur les objets et les personnes avec lesquels il interagit. La psychologie du développement donne un bon aperçu de la façon dont les enfants développent des modèles du monde, ce qui peut aider à concevoir de nouvelles architectures robotiques pour des interactions homme-robot efficaces et robustes.
En premier lieu, nous présentons une architecture basée sur une structure de données hybride qui combine des informations géométriques et relationnelles et des représentations neuronales. Cette architecture vise à bénéficier des progrès récents en vision par ordinateur et en traitement du langage naturel tout en permettant un raisonnement 3D efficace. Ensuite, nous explorons deux modalités de raisonnement clés dans le contexte d'une action conjointe homme-robot : le raisonnement physique et les croyances. Le raisonnement physique permet au robot d'utiliser la physique newtonienne pour raisonner sur des objets qui ne sont pas visibles tout en surveillant ce qui est visible.
Dans cette thèse, nous présentons un travail inspiré de la psychologie du développement dans lequel nous utilisons un simulateur de physique pour corriger la position des objets perçus et inférer la la position des objets non visibles en utilisant la physique newtonienne. L'algorithme est également capable d'inférer les actions du partenaire humain en analysant les violations physiques entre le monde simulé et le monde perçu. Le raisonnement par croyances est une autre caractéristique essentielle des robots qui assistent les humains. Dans son essence, ce raisonnement est basé sur la prise de perspective visuelle : la capacité de raisonner du point de vue d'une autre personne.
Dans cette thèse, nous montrons également la modularité de l'approche en liant les raisonneurs basés sur l'ontologie et l'évaluation de la situation.
Cette interaction permet d'interroger les entités générées par le système perceptif et physique en utilisant le langage SPARQL. système perceptuel et physique en utilisant le langage SPARQL. Nous montrons l'intérêt de cette approche avec un travail préliminaire sur l'utilisation de modèles de langage à base de neurones qui bénéficient de l'expressivité des requêtes SPARQL.
Nous concluons par une discussion sur les limites du système et nous nous ouvrons à des travaux futurs qui pourraient mener à des recherches passionnantes dans ce domaine.
Origine : Fichiers produits par l'(les) auteur(s)