Study of an adaptative hyperspectral imager for Earth observation
Étude d’un imageur hyperspectral adaptatif dans un contexte d’observation de la terre
Résumé
In the context of Earth observation, spectral imagery provides a detailed understanding of the observed scene. However, it generates a large amount of data that must be processed afterwards in the ground stations. In order to optimise the information flow, the compressed sensing paradigm proposes to optically encode the incident light and to rely on processing algorithms to directly extract the semantic information of interest or to reconstruct the compressed signal. This approach, which integrates optical systems and digital information processing, requires modifications to the design methods and tools needed to develop the instruments.The thesis focuses on the joint design of an optical system, the CASSI double-disperser, and its associated algorithmic processing. Reflections have been made on how to dimension the system as a whole, taking into account the close links between these two disciplines. It is necessary to use a development environment that allows the evaluation of these interdependencies and the rapid testing of new optical and algorithmic configurations. A physical model has been proposed to describe the propagation of light through our instrument. It has been integrated into a compressed hyperspectral image acquisition simulator that includes various physical phenomena. This easily interfaces with the data processing module which is used to reconstruct the signal and/or extract semantic information.A prototype has been developed to explore the possibilities opened by these systems in an earth observation context. Particular attention was paid to the adaptability of the optical encoding performed by the system. By using an array of micro-mirrors as a spatial light modulator, the spectral filtering obtained is dynamic. It can therefore adapt to the observed scene and thus allow the development of acquisition schemes specific to the missions entrusted to the system. The experimental part of the thesis consisted of assembling, aligning and calibrating the optical system. Software and hardware tools were developed to facilitate the realisation of the prototype.Finally, a learning algorithm for the segmentation of compressed hyperspectral images was proposed and tested in simulation on earth observation data. The objective of this approach is to extract semantic information directly from the compressed measurements, without going through a reconstruction step of the hyperspectral image.
Dans un contexte d’observation de la Terre, l’imagerie spectrale permet une compréhension fine de la scène observée. Elle génère cependant une large quantité de données qui est doit être traitée à posteriori dans les stations sols. En vue d’optimiser le flux d’informations, le paradigme de l’acquisition compressée propose d’encoder optiquement la lumière incidente et de s’appuyer sur des algorithmes de traitement pour extraire les informations sémantiques d’intérêt ou pour reconstruire le signal compressé. Cette approche, qui intrique système optique et traitement numérique de l’information, nécessite de modifier les méthodes et outils de conception nécessaires au développement des instruments.La thèse porte sur la conception conjointe d’un système optique, le double-disperseur CASSI, et de son traitement algorithmique associé. Des réflexions ont été menées sur la manière de dimensionner le système dans sa globalité, en prenant en compte les liens étroits entre ces deux disciplines. Il convient d’utiliser un environnement de développement qui permette d’évaluer ces interdépendances et de tester rapidement de nouvelles configurations optiques et algorithmiques. Un modèle physique a été proposé pour décrire la propagation de la lumière à travers notre instrument. Il a été intégré à un simulateur d’acquisition d’images hyperspectrales compressées qui inclus divers phénomènes physiques. Celui-ci s’interface facilement avec le module de traitement des données, utilisé pour reconstruire le signal ou extraire des informations sémantiques.Un prototype a été développé dans le but d’explorer les possibilités ouvertes par ces systèmes dans un contexte d’observation de la terre. Une attention particulière a été portée à l’adaptativité de l’encodage optique effectuée par le système. En nous basant sur une matrice de micro-miroirs comme modulateur spatial de lumière, le filtrage spectral obtenu est dynamique. Il peut donc s’adapter à la scène observée et permet ainsi de mettre au point des schémas d’acquisitions spécifiques aux missions qui sont confiées au système. La partie expérimentale de la thèse a consisté à assembler, aligner puis étalonner le système optique. Des outils logiciels et matériels ont été développés pour faciliter la réalisation du prototype.Finalement, un algorithme d’apprentissage pour la segmentation d’images hyperspectrales compressées a été proposé puis testé en simulation sur des données d’observation de la terre. L’objectif de cette approche est d’extraire des informations sémantiques directement à partir des mesures compressées, sans passer par une étape de reconstruction de l’image hyperspectrale .
Origine : Version validée par le jury (STAR)