Original paper

Semi-automatic Integration of Panoramic Hyperspectral Imagery with Photorealistic Lidar Models

Sima, Aleksandra; Buckley, Simon J.; Kurz, Tobias H.; Schneider, Danilo

Abstract

This paper presents a method for increasing the automation of the registration of panoramic hyperspectral images with co-registered conventional digital imagery and a point cloud acquired with a terrestrial laser scanner (lidar), for geological purposes. The SIFT (scale invariant feature transform) interest operator is used to find homologous points between the two imagery types which, because they are recorded at different spectral ranges (visible and short wave infrared) using different geometric projections, differ significantly in appearance. After reducing false matches using RANSAC (random sample consensus), a geometric model for panoramic cameras is applied to retrieve the orientation parameters of the hyperspectral scenes. Once registered, hyperspectral classifications can be combined with the lidar geometry in photorealistic models, allowing material information to be linked to object geometry. Improved automation of the data registration reduces processing time and makes the domain more accessible for non-specialists.

Kurzfassung

Mit diesem Beitrag wird eine Methode zur semi-automatischen Registrierung von hyperspektralen Panoramabildern mit konventionellen digitalen Fotos sowie mit den Punktwolken eines terrestrischen Laserscannners (Lidar) beschrieben. Die Methode wird für geologische Fragestellungen angewendet. Es wird gezeigt, dass der SIFT (Scale Invariant Feature Transform) Operator zur automatischen Auffindung homologer Punkte in den verschiedenen Bilddaten trotz der verschiedenen Spektralbereiche (sichtbarer sowie infraroter Bereich) und unterschiedlicher Bildgeometrien (zentralperspektivische Bilder und Panoramabilder mit zylindrischer Projektion) verwendet werden kann. Falsch positive Punkte werden mit der RANSAC (Random Sample Consensus) Methode ausgeschlossen. Unter Anwendung eines Panoramakameramodells können anschließend die äußere und innere Orientierung der hyperspektralen Bilder ermittelt werden. Mit Kenntnis der inneren und äußeren Orientierung können dann einerseits die vermaschten Lidar-Modelle fotorealistisch texturiert und andererseits mit hyperspektralen Klassifikationen geometrisch korrekt überlagert werden, womit eine Verlinkung von geometrischen mit geochemischen Informationen ermöglicht wird. Eine verbesserte Automatisierung der Datenregistrierung verkürzt die Bearbeitungszeit und erleichtert die Datenintegration für fachfremde Anwender.

Keywords

registrationhyperspectraltlslidarphotorealistic models