Original paper

Automatic Estimation of Vehicle Activity from Airborne Thermal Infrared Video of Urban Areas by Trajectory Classification

Yao, Wei; Hinz, Stefan; Stilla, Uwe

Abstract

Analysis of traffic data plays an important role in urban and spatial planning. Thermal Infrared (TIR) video cameras have capabilities to operate at day and night and to acquire the scene sampled with video frame rate. In this paper a strategy for the estimation of vehicle motion and the assessment of traffic activity from airborne TIR video is presented. In contrast to other approaches we handle detecting and tracking vehicles in the video separately, because moving as well as stationary vehicles are intended to be detected. Firstly, vehicles are detected in single frames of the video. Additionally, tie points are detected for co-registration and compensation the sensor movement. Afterwards, a stepwise grouping of image points considering temporal consistence and geometric relation is carried out to determine the vehicle trajectories and classify them into stationary, moving and uncertain dynamical categories. The vehicles are then integrated into the classes "moving," "stationary" and "uncertain" categories. Additionally, in consideration of matching vehicle-related image patches for moving vehicles, the topology of the trajectories are investigated and optimized in order to eliminate disturbances and estimate velocities. The algorithms were tested with video sequence of urban areas in nadir-view and oblique-view. The correctness of the results is achieved higher than 75% for both views.

Kurzfassung

Die Analyse von Verkehrsdaten spielt eine wichtige Rolle bei der Stadt- und Raumplanung. Thermal Infrarot (TIR)-Kameras bieten die Möglichkeit Szenen bei Tag und Nacht im Videotakt zu erfassen. In diesem Beitrag werden eine automatische Strategie zur Schätzungen von Fahrzeugbewegung und die Bewertung der Verkehrsaktivität aus ugzeuggetragenen IR-Videodaten präsentiert. Bei diesem Ansatz werden im Gegensatz zu herkömmlichen Verfahren Detektion und Verfolgung von Fahrzeug in den Videodaten getrennt behandelt, da auch stehende Fahrzeuge gefunden werden sollen. Zunächst werden Fahrzeuge in den Einzelbildern der Videosequenz detektiert. Zusätzlich werden Verknüpfungspunkte detektiert, um eine Koregistrierung der Bilder durchzuführen und die Sensorbewegung zu kompensieren. Anschließend wird unter Berücksichtigung zeitlicher Konsistenz und geometrischer Zusammenhänge eine schrittweise Gruppierung von Bildpunkten durchgeführt, um den dynamische Status des Fahrzeuges zu detektieren. Die Fahrzeuge werden dann in die Klassen ,,bewegt, ,,unbewegt und ,,unsicher eingeteilt. Zusätzlich auch mit Berücksichtigung von Matching der fahrzeugbezogenen Bildmatrizen werden für die bewegten Fahrzeuge die Topologie der Trajektorien untersucht und optimiert, um Störungen zu beseitigen und Geschwindigkeiten zu schätzen. Die Algorithmen wurden mit Bildsequenzen in Nadirsicht und in Schrägsicht von innerstädtischen Gebieten getestet. Die Korrektheit der Ergebnisse erreicht für beide Sichten Werte höher 75%.

Keywords

airborne thermal ir videodetectionvideo co-registrationtrajectory groupingmovement estimation