Original paper

Line based Matching of Uncertain 3D Building Models with IR Image Sequences for Precise Texture Extraction

Iwaszczuk, Dorota; Hoegner, Ludwig; Schmitt, Michael; Stilla, Uwe

Abstract

Thermal building textures are used for the detection of damaged or weak spots in the insulation of building hulls. These textures can be extracted from directly geo-referenced oblique airborne infrared (IR) image sequences by projecting a 3D building model into the images. However, the direct geo-referencing is often not sufficiently ac curate and the projected 3D model does not match the structures in the image. Thus we present a technique with the main goal of finding the best fit between the 3D building model and the IR image sequence. For this purpose we correct exterior orientation via line based matching. We assign image lines to projected model lines based on the distance and angle between them. The maximum distance and maximum angle between assigned lines is given by the uncertainties in the projected lines, which is derived from the uncertainties in the 3D building model and from the uncertainties in the camera position and orientation by error propagation. Then we use the random sample consensus (RANSAC) to remove incorrect correspondences. The correspondences selected by RANSAC are adjusted using the least squares method. In the adjustment we consider both uncertainties in the model and in the image features. To evaluate the presented method we test it running the algorithm among the set of images and visually assess the improvement.

Kurzfassung

Thermische Gebäudetexturen werden für die Detektion von Schwach- und Schadstellen in der Isolation von Gebäudehüllen eingesetzt. Solche Texturen können aus den direkt georeferenzierten, infraroten (IR) Luftbildsequenzen gewonnen werden, indem das 3D Gebäudemodell ins IR Bild projiziert wird. Das direkte Georeferenzieren ist jedoch oft nicht genau genug und das projizierte 3D Modell stimmt nicht mit den Bildstrukturenüberein. Deswegen wird hier eine Technik präsentiert, mit dem Ziel, die beste Anpassung zwischen dem IR Bild und dem 3D Gebäudemodell zu nden. Dafür korrigieren wir die Parameter deräußeren Orientierung mittels linienbasierter Zuordnung. Die Bildlinien werden den projizierten Modelllinien aufgrund der Entfernung und aufgrund des Winkels zwischen ihnen zugeordnet. Die maximale Distanz und der maximale Winkel zwischen zugeordneten Linien ergeben sich aus der Unsicherheit der projizierten Linien, die aus den Unsicherheiten der Kameraposition und Orientierung und aus den Unsicherheiten der 3D-Gebäudemodelle mittels Fehlerfortpflanzung berechnet werden. Danach verwenden wir RANdom SAmple Consensus (RANSAC), um die fehlerhaften Korrespondenzen auszusortieren. Die von RANSAC ausgewählten Korrespondenzen werden mit der Methode der kleinsten Quadrate ausgeglichen. Bei der Ausgleichung werden zwei Unsicherheiten berücksichtigt: die des 3D Gebäudemodells sowie die der Bildmerkmale. Um die präsentierte Methode zu evaluieren, wird der Algorithmus in einer Bildsequenz angewandt und die Verbesserung visuell beurteilt.

Keywords

line matchinginfrared imagesbuilding modeltexture