Original paper

Orientation and Dense Reconstruction from Unordered Wide Baseline Image Sets

Bartelsen, Jan; Mayer, Helmut; Hirschmüller, Heiko; Kuhn, Andreas; Michelini, Mario

Abstract

In this paper we present an approach for detailed and precise automatic dense 3D reconstruction using possibly unordered image sets from consumer cameras. Opposed to other approaches we focus on wide baseline image sets. We have combined and improved several methods for robust matching and parameter estimation, particularly, least squares matching, RANSAC, scale-space maxima and bundle adjustment. Point correspondences and the ve-point algorithm lead to relative orientation without a need for approximate values. Due to our robust matching method we can orient images under much more unfavourable conditions, for instance concerning illumination changes or scale differences, than it would be possible based on commonly used operators such as SIFT. For dense reconstruction, we use our orientation as input for semiglobal matching (SGM) resulting in dense depth images. The latter can be fused into a 2.5D model for eliminating the redundancy of highly overlapping depth images. However, some applications and acquisition scenarios have a need for full 3D modelling, for which preliminary results are presented. Using small unmanned aerial systems (micro UAS), it is possible to acquire images which have a similar perspective as terrestrial images and can thus be combined with them. Such a combination is useful for almost complete 3D reconstruction of urban scenes. We have applied our approach to blocks of several hundred aerial and terrestrial images, generating detailed 2.5D and 3D models of urban areas.

Kurzfassung

In diesem Beitrag wird ein Ansatz für die detaillierte und genaue automatische dichte 3D Rekonstruktion auf Grundlage von möglicherweise ungeordneten Bildverbänden, welche mit Consumer Kameras aufgenommen wurden, vorgestellt. Im Gegensatz zu anderen Ansätze zielt der vorgestellte Ansatz auf Bilddatensätze mit großer Basis ab. Dafür wurden verschiedene Methoden, insbesondere Kleinste Quadrate Zuordnung, RANSAC, Maßstabsraum Maxima und Bündelausgleichung, für robuste Zuordnung und Parameterschätzung kombiniert und verbessert. Punktkorrespondenzen und der Fünf-Punkt Algorithmus führen zur relativen Orientierung ohne Bedarf für Näherungswerte. Die verwendete robuste Zuordnungsmethodik ermöglicht es, Bilder unter sehr viel ungünstigeren Bedingungen, z. B. bezüglich Beleuchtungsbedingungen und Maßstabsunterschieden, zuzuordnen, als häu g verwendete Operatoren, wie z. B. SIFT. Für die dichte Rekonstruktion wird die berechnete Orientierung als Eingabe für Semiglobal Matching (SGM) verwendet, mit dessen Hilfe dichte Tiefenbilder bestimmt werden. Diese können, um die Redundanz in den oft hochgradig überlappenden Tiefenbildern zu eliminieren, in 2,5D Modellen fusioniert werden. Einige Anwendungen und Aufnahmekon gurationen benötigen aber eine volle 3D Modellierung, wofür erste Ergebnisse vorgestellt werden. Mit kleinen Drohnen / Unmanned Aerial Systems (Micro UAS) wird es möglich, Bilder zu erfassen, die eine ähnliche Perspektive auf die Szene haben wie terrestrische Bilddaten und daher mit diesen kombiniert werden können. Eine solche Kombination ist für eine fast vollständige 3D Rekonstruktion von städtischen Szenen sehr hilfreich. Der entwickelte Ansatz wurde auf Blöcke mit hunderten von Bildern aus der Luft und vom Boden angewandt und damit detaillierte 2,5D und 3D Modelle von Siedlungsbereichen erzeugt.

Keywords

automatic image orientationdense 3d reconstructionunordered image setswide baselinesemiglobal matching