Multimodal analysis of conflictual situation in car context - Archive ouverte HAL Access content directly
Theses Year : 2022

Multimodal analysis of conflictual situation in car context

Analyse multimodale de situations conflictuelles en contexte véhicule

(1)
1
Quentin Portes
  • Function : Author
  • PersonId : 1110067

Abstract

In this thesis we study human interactions in order to identify potential aggression situations in the vehicle cabin. Humans most commonly use sight and hearing to analyze interactions. This task seems trivial, but is complex for an artificial intelligence model. It must capture video and audio information and analyze it to predict a conflictual situation. Our approach is new compared to previous research on this topic since passengers are constrained in their movements in the cabin and the computing power on board for this task is limited. To our knowledge, no work has been done on the analysis of human interactions for conflictual situation detection in this context and with these constraints. Our investigations are first based on a public corpus of sentiment analysis to compare with the literature. We implement a model capable of ingesting video, audio and text data (audio transcription) to merge them and make a decision. In our application context, we then record a multimodal dataset of human interactions simulating more or less conflictual situations in a vehicle cockpit. This database is exploited to implement end-to-end and parametric classification models. The results obtained are consistent with the literature on the impact of each modality on the system performance. Thus, text is respectively more informative than audio and video. The different fusion approaches implemented show significant benefits on the performance of single-modality classification.
Dans cette thèse nous étudions les interactions humaines afin d'identifier des situations conflictuelles dans l'habitacle d'un véhicule. Les humains utilisent le plus communément la vue et l'ouïe pour analyser les interactions. Cette tâche paraît anodine, mais reste complexe pour un modèle d'intelligence artificielle. Celui-ci doit capturer les informations vidéo et audio et les analyser pour prédire une situation conflictuelle. Notre approche est nouvelle en regard des recherches réalisées jusque-là sur ce sujet puisque les passagers sont contraints dans leurs mouvements dans l'habitacle et que la puissance de calcul embarqué pour cette tâche est limitée. Aucuns travaux, à notre connaissance, ne se sont intéressés à l'analyse des interactions humaines pour la détection de situations conflictuelles dans ce contexte et avec ces contraintes. Nos investigations s'appuient tout d'abord sur un corpus public d'analyse de sentiment pour se comparer à la littérature. Nous implémentons un modèle capable d'ingérer des données vidéo, audio et textes (transcription de l'audio) pour les fusionner et prendre une décision. Dans notre contexte applicatif, nous enregistrons par la suite un jeu de données multimodal d'interactions humaines simulant des situations plus ou moins conflictuelles dans un habitacle de véhicule. Cette base de données est exploitée afin d'implémenter des modèles de classification de bout-en-bout et paramétrique. Les résultats obtenus sont cohérents avec la littérature sur l'impact de chaque modalité sur les performances du système. Ainsi, le texte est respectivement plus informatif que l'audio et que la vidéo. Les différentes approches de fusion implémentées montrent des bénéfices notables sur les performances de classification mono-modalité.
Fichier principal
Vignette du fichier
2022TOU30137a.pdf (11.81 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-03823664 , version 1 (21-10-2022)
tel-03823664 , version 2 (10-11-2022)

Identifiers

  • HAL Id : tel-03823664 , version 2

Cite

Quentin Portes. Analyse multimodale de situations conflictuelles en contexte véhicule. Intelligence artificielle [cs.AI]. Université Paul Sabatier - Toulouse III, 2022. Français. ⟨NNT : 2022TOU30137⟩. ⟨tel-03823664v2⟩
0 View
0 Download

Share

Gmail Facebook Twitter LinkedIn More