Original paper

An automated procedure to detect discontinuities; performance assessment and application to a large European climate data set

Begert, Michael; Zenklusen, Evelyn; Häberli, Christian; Appenzeller, Christof; Klok, Lisette

Meteorologische Zeitschrift Vol. 17 No. 5 (2008), p. 663 - 672

published: Oct 27, 2008

DOI: 10.1127/0941-2948/2008/0314

BibTeX file

O

Open Access (paper can be downloaded for free)

Download paper for free

Abstract

Within the framework of the EU-project ENSEMBLES, an automated procedure to detect shift inhomogeneities in climatological time series was developed and used for the homogeneity assessment of a European data set including values for temperature (min, mean, max), precipitation and air pressure covering at least 45 years. The automated process combines VERAQC (Vienna Enhanced Resolution Analysis Quality Control) output with Alexandersson's Standard Normal Homogeneity Test. VERAQC is designed to find outliers, systematic errors and meteorological biases in a time series comparing the data with concurrent observations of neighbouring stations. The resulting deviations can be analysed as time series for a single station and used as an input for relative homogeneity testing. Shift inhomogeneities are detected in accordance with statistical significance. An iterative procedure ensures that multiple break points are detected. The performance of the automated homogenization method was tested comparing its findings to results of a manually homogenized Swiss data set. The latter is based on a relative homogenization procedure in combination with an in-depth analysis of station history information. It is shown that the new automated procedure is able to detect shift inhomogeneities in temperature, precipitation and air pressure series but several limitations exist. Mainly the number of false alarms as well as missed break points is comparatively high at least in the Swiss Alpine test region with its complex topography. The homogeneity assessment of the ENSEMBLES data set for the period 1960-2004 revealed that 12% to 59% of the series were homogeneous depending on the variable. By far the highest number of shifts was detected in air pressure series followed by temperature and precipitation.

Kurzfassung

Im Rahmen des EU-Projektes ENSEMBLES wurde ein automatisches Verfahren zum Auffinden von Shift-Inhomogenitäten in Klimadatenreihen entwickelt, getestet und auf den ENSEMBLES-Datensatz angewandt. Der Datensatz beinhaltet Messreihen der Temperatur (Mittel, Minimum, Maximum), des Niederschlags und des Luftdrucks von mindestens 45 Jahren Länge. Die entwickelte Homogenisierungsmethode besteht aus einer Kombination von VERAQC (Vienna Enhanced Resolution Analysis Quality Control) mit dem SNHT (Standard Normal Homogeneity Test) nach Alexandersson. VERAQC, entwickelt zur räumlichen Qualitätskontrolle von Daten, vergleicht für jeden Zeitpunkt den Wert einer Teststation mit einem aus umliegenden Nachbarstationen interpolierten Wert. Die Zeitreihe der resultierenden Abweichungen werden mit Hilfe des SNHT auf signifikante Inhomogenitäten geprüft. Das Verfahren wird iterativ angewandt, womit sichergestellt ist, dass mehrere Brüche pro Stationsreihen gefunden werden können. Um die Güte der automatisierten Methode zu ermitteln, wurden die Resultate mit solchen eines manuell homogenisierten schweizerischen Datensatzes verglichen. Hierbei zeigte sich, dass der automatische Homogenitätstest in der Lage ist, Shift-Inhomogenitäten in klimatologischen Zeitreihen korrekt zu detektieren. Zumindest in komplexer Topographie, wie den Schweizer Alpen, treten jedoch eine relativ hohe Anzahl falscher Alarme und nicht detektierter Inhomogenitäten auf. Die Ergebnisse der Homogenitätsprüfung des ENSEMBLES-Datensatzes für die Periode 1960-2004 zeigen, dass je nach Variable, 12% bis 59% der Klimadatenreihen homogen sind. Die grösste Anzahl der Brüche fanden sich in den Luftdruckreihen gefolgt von denen für Temperatur und Niederschlag.