Original paper

Graph-Based Analysis of Pedestrian Interactions and Events Using Hidden Markov Models

Burkert, Florian; Bamler, Richard

Abstract

In this paper, we present an improved approach for the analysis of pedestrian interaction in crowded and cluttered scenes from aerial image sequences. Related work is limited to the detection of an undeclared abnormal event with regard to the common behaviour or to the detection of specific simple events incorporating only up to two trajectories. In our approach, event detection in pedestrian groups is done by detecting universal motion interaction patterns between pairs of pedestrians in a graph-based framework. Event detection is performed by analyzing the temporal behaviour of the motion interaction, which is represented by edges in the graph, by means of hidden Markov models (HMM). Temporarily disappearing edges in the graph can be compensated by an HMM buffer which internally continues the HMM analysis even if the corresponding pedestrians depart from each other awhile. Experimental results show the potential of our graph-based approach for event detection. The used datasets contain UAV image sequences in which an instructed pedestrian group simulates meaningful group behaviour and an aerial image sequence in which pedestrians approach a soccer stadium.

Kurzfassung

In diesem Beitrag wird eine verbesserte Methode für die Detektion von Fußgänger-Interaktion in dichten und unstrukturierten Szenen aus Luftbildsequenzen vorgestellt. Bislang bestehende Arbeiten beschränken sich auf die Erkennung von unnormalen Ereignissen im Allgemeinen oder auf die Erkennung von einfachen Ereignissen, welche nur von bis zu zwei Personen durchgeführt werden. In der hier vorgestellten Methode wird Ereignisdetektion in Personengruppen vollzogen, wofür die Bewegungsinteraktion zwischen benachbarten Personenpaaren in einem graphenbasierenden System analysiert wird. Das zeitliche Verhalten der Bewegungsinteraktion wird mittels Hidden Markov Modellen (HMM) ausgewertet. Zeitlich unbeständige Kanten im Graph werden mit Hilfe eines HMM-Puffers abgefangen, welcher die Auswertung intern weiterführt, wenn sich das einer Kante zugehörige Personenpaar kurzzeitig voneinander entfernt. Es werden Ergebnisse präsentiert, welche das Potential der vorgestellten Methode zur Ereignisdetektion aufzeigen. Die verwendeten Datensätze beinhalten UAV-Sequenzen, welche Gruppenbewegungen eingewiesener Testpersonen beinhalten, und Luftbildsequenzen, welche Fußgänger vor einem Fußballstadion zeigen.

Keywords

event detectionpedestrian surveillanceaerial image sequenceshidden markov modelsuav