Original paper

A New Approach to Robust LiDAR/Optical Imagery Registration

Ju, Hui; Toth, Charles; Grejner-Brzezinska, Dorota A.

Abstract

Most of the image registration/matching methods are applicable to images acquired by either identical or similar sensors from various positions. Simpler techniques assume some object space relationship between sensor orientations, such as near parallel image planes, certain overlap, and comparable radiometric characteristics. More robust high-level feature-based methods allow for larger variations in image orientation and texture; for example, SIFT (scale invariant feature transform), a highly robust registration technique for wide baseline images. Nevertheless, registration between LiDAR (light detection and ranging) intensity and optical (satellite and aerial) images is still a big challenge, as substantial differences do exist in their radiometric characteristics. Reviewing and testing popular multiple domain image registration techniques, such as feature-based SIFT, intensity-based MI (mutual information), and frequency-based LPFFT (log-polar fast fourier transform), it is realized that no single technique could solve LiDAR intensity and optical image registration completely. Alternatively, a new approach to robust LiDAR/optical imagery registration, taking advantages of feature-, intensity-, and frequency-based methods, is proposed. Initial testing with a few datasets showed good performance of the new method, achieving pixel-level accuracy for the registration.

Kurzfassung

Die meisten Methoden der Bildregistrierung/Bildanpassung können auf Bilder angewandt werden, die entweder mit identischen oderähnlichen Sensoren aus verschiedenen Positionen aufgenommen werden. Einfachere Techniken basieren auf der Annahme eines speziellen Zusammenhangs im Objektraum, wie z.B. annähernd parallele Bildebenen, eine bestimmte Überlappung oderähnliche radiometrischen Eigenschaften. Robustere high-level merkmalsbasierte Methoden ermöglichen größere Variationen in Bildorientierung und -textur, z.B. SIFT (Scale Invariant Feature Transform), eine sehr robuste Technik für die gegenseitige Registrierung von Bildpaaren mit langen Basislinien. Dennoch ist die Registrierung von LiDAR (Light Detection And Ranging) Intensitätsbildern und optischen (satelliten- oder flugzeuggestützten) Bildern noch immer eine große Herausforderung, da erhebliche Unterschiede in ihren radiometrischen Eigenschaften bestehen. Ein Test mehrerer beliebter Techniken zur Registrierung von Bildern aus unterschiedlichen Domänen wie z.B. das merkmalsbasierte Verfahren auf Basis von SIFT, das intensitätsbasierte Verfahren mit Hilfe von MI (Mutual Information) sowie das frequenzbasierte Verfahren LPFFT (Log-Polar Fast Fourier Transform), haben gezeigt, dass keine Technik einzeln das Problem der Registrierung von LiDAR Intensitätsbildern und optischen Bildern vollständig lösen kann. Als Alternative wird eine neue Bildregistrierungsmethode für LiDAR Intensitäts- und optische Bilder vorgeschlagen, welche die Vorteile der merkmalsbasierten, intensitätsbasierten und frequenzbasierten Methoden verbindet. Erste Tests des Verfahrens mit wenigen Datensätzen lieferten gute Ergebnisse mit Genauigkeiten in der Größenordnung von einem Pixel.

Keywords

lidar intensity imageaerial/satellite imageregistrationlpfftmisift