Skip to Main content Skip to Navigation
Theses

Apprentissage en ligne de signatures audiovisuelles pour la reconnaissance et le suivi de personnes au sein d’un réseau de capteurs ambiants

François-Xavier Decroix 1
1 LAAS-RAP - Équipe Robotique, Action et Perception
LAAS - Laboratoire d'analyse et d'architecture des systèmes
Résumé : L'opération neOCampus, initiée en 2013 par l'Université Paul Sabatier, a pour objectif de créer un campus connecté, innovant, intelligent et durable en exploitant les compétences de 11 laboratoires et de plusieurs partenaires industriels. Pluridisciplinaires, ces compétences sont croisées dans le but d'améliorer le confort au quotidien des usagers du campus (étudiants, corps enseignant, personnel administratif) et de diminuer son empreinte écologique. L'intelligence que nous souhaitons apporter au Campus du futur exige de fournir à ses bâtiments une perception de son activité interne. En effet, l'optimisation des ressources énergétiques nécessite une caract érisation des activités des usagers afin que le âatiment puisse s'y adapter automatiquement. L'activité humaine étant sujet à plusieurs niveaux d'interpétation nos travaux se focalisent sur l'extraction des déplacements des personnes présentes, sa composante la plus élémentaire. La caractérisation de l'activité des usagers, en termes de déplacements, exploite des données extraites de caméras et de microphones disséminés dans une piéce, ces derniers formant ainsi un réseau épars de capteurs hétérogènes. Nous cherchons alors à extraire de ces données une signature audiovisuelle et une localisation grossière des personnes transitant dans ce réseau de capteurs. Tout en préservant la vie privée de l'individu, la signature doit être discriminante, afin de distinguer les personnes entre elles, et compacte, afin d'optimiser les temps de traitement et permettre au bâtiment de s'auto-adapter. Eu égard à ces contraintes, les caractéristiques que nous modélisons sont le timbre de la voix du locuteur, et son apparence vestimentaire en termes de distribution colorimétrique. Les contributions scientifiques de ces travaux s'inscrivent ainsi au croisement des communaut és parole et vision, en introduisant des méthodes de fusion de signatures sonores et visuelles d'individus. Pour réaliser cette fusion, des nouveaux indices de localisation de source sonore ainsi qu'une adaptation audiovisuelle d'une méthode de suivi multi-cibles ont été introduits, représentant les contributions principales de ces travaux. Le mémoire est structuré en 4 chapitres. Le premier présente un état de l'art sur les problèmes de ré-identification visuelle de personnes et de reconnaissance de locuteurs. Les modalités sonores et visuelles ne présentant aucune corrélation, deux signatures, une vidéo et une audio sont générées séparément, à l'aide de méthodes préexistantes de la littérature. Le détail de la génération de ces signatures est l'objet du chapitre 2. La fusion de ces signatures est alors traitée comme un problème de mise en correspondance d'observations audio et vidéo, dont les détections correspondantes sont cohérentes et compatibles spatialement, et pour lesquelles deux nouvelles stratégies d'association sont introduites au chapitre 3. La cohérence spatio-temporelle des observations sonores et visuelles est ensuite traitée dans le chapitre 4, dans un contexte de suivi multi-cibles.
Document type :
Theses
Complete list of metadatas

Cited literature [165 references]  Display  Hide  Download

https://hal.laas.fr/tel-01946899
Contributor : Christine Fourcade <>
Submitted on : Thursday, December 6, 2018 - 2:34:09 PM
Last modification on : Friday, January 10, 2020 - 9:10:11 PM
Document(s) archivé(s) le : Thursday, March 7, 2019 - 1:55:12 PM

File

DECROIX François Xavier.pdf
Files produced by the author(s)

Identifiers

  • HAL Id : tel-01946899, version 1

Citation

François-Xavier Decroix. Apprentissage en ligne de signatures audiovisuelles pour la reconnaissance et le suivi de personnes au sein d’un réseau de capteurs ambiants. Automatique / Robotique. Université Toulouse 3 Paul Sabatier (UT3 Paul Sabatier), 2017. Français. ⟨tel-01946899⟩

Share

Metrics

Record views

157

Files downloads

258