Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
MIRAKELDie Klimadatenbank des DWD
Johannes BehrendtDeutscher Wetterdienst (DWD)
Hamburg, March 26, 2002
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Übersicht
• Eigenschaften der MIRAKEL Datenbanko Nationale Datenbasis
o Aspekte des Datenmodells
o Anwendungen
• Verbesserung des externen Datenbankzugriffso Interner und externer Datenbankzugriff
o Anforderungen an eine verbesserte Webschnittstelle (UNIDART)
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Datenbasis
•Nationale Klimadaten
•Internationale Klimadatenzentren (GPCC, GCC)
•Globale SYNOP Daten (seit 2001)
Eigenschaften
•Direkter Zugriff auf alle Daten in einer relationalen Datenbank
(Zeitreihen und synoptische Sortierung)
•Eindeutige Identifizierung aller Stationen (global, national einschließlich der Stationsgeschichte)
Die MIRAKEL Datenbank
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Datenmodell für Daten
10 Minuten-Werte
Niederschlag
Stündl. Werte
SYNOP
KlimaOberfläche
Aerologische Daten
Erdbodentemperatur
Monatswerte
Langj. Mittel
M e t a
d a t e n
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Datenmodell
Tägliche Werte
WetterlagenklassifikationPhänologische Daten
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Geschichte der Datenbasisseit 1767 Monatswerteseit 1781 Tageswerte (Hohenpeissenberg)seit 1960 Datenerfassung auf computerlesbarem Mediumseit 1975 Quallitätskontrolle mit Computerprogrammen1945- 1990 unterschiedliche Datenverarbeitung in DWD und MDseit 1997 Import der Archivdateien nach MIRAKELseit 1998 Import aktueller deutscher Daten nach MIRAKELseit 2001 Import globaler SYNOP nach MIRAKEL
Status der Migration nach MIRAKEL
Vollständige Migration des historischen Archivs außer:
•SYNOP-Daten vor 1979•Aerologische Daten vor 1998•Phänologische Daten, Strahlungsdaten
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Geschichte der Klimadaten im DWD
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Globale Verteilung28 essential SYNOP Stationen (ECOMET)
Im DWD verfügbarca 200 SYNOP Stationen (stündlich)
ca 600 Klimastationen (täglich)ca 4000 Niederschlagsstationen (täglich)
DKRZ Workshop, J. Behrendt Hamburg, Mar 2002
Anzahl der Stationen
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
• Identifikation aller Datensätze durch
• Fremdschlüssel zu den Metadateno Stations_id
o Messnetz_id
o Mess_datum (für Stationsgeschichte)
Eigenschaften des Datenmodells für die Daten
Druck / TiefeLuftdruck, Tiefe (teilweise)
Messnetz DatenquelleMessnetz_id
Beschreibung der QualitätskontrollverfahrenQualitäts_niveau
Beschreibung der KodierungStruktur_version
Datum/Zeit der BeobachtungMess_datum
Eindeutige StationsnummerStations_id
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Mengengerüst der MIRAKEL-Datenbank
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Anzahl der Tabellen 179
Anzahl der Tabellen mit Daten 50
Daten 55 Gb
Indizes 65 Gb
größte Tabelle 10 Gb
Anzahl Zeilen in größter Tabelle 102 Mill Zeilen
Zeilen pro Minute beim Retrieve 10-30 k Zeilen/Min
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Anwendungen
• Import aktueller und historischer Klimadaten• Qualitätssicherung• Maskengesteuerter interaktiver Zugriff • Internes Retrieval• Web Anwendungen
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Anwendungs system old file
formats Reports
OLMFORMS
REPORTS
MIRAKELDATABASE
MIRAKEL_RETRIEVE QUERY_BUILDER / MS ACCESS
old file formats
ad- hoc-queries
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
SQLWWW
IMPORTGTS
Data Service
NA
TIO
NA
L
DA
TA
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Internetzugang zu Klimadaten im DWD
KLIS:Das Klima Informations System
http://ww.dwd.de/research/klis
Klimadaten online
http://www.dwd.de/research/klis/daten/dat.htm
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Klimadaten im Internet
mean, min, max temperature TM, TX, TN
sum precipitation RS
sum sunshine duration SD
mean cloud cover N
mean, max wind speed FM, FX
daily data (28 stations since 1991)
mean, min, max TM, TX, TN
sum, max RS
sum SD
mean N
mean, max FM, FX
monthly data (40 stations since 1981)
monthly mean TM, N
monthly sum RS, SD
30 year meansSelected maps
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Metadaten im Internet
• Beschreibung der Datenkollektive
• Beschreibung der Datenpolitik
• Aktuelle Stationsinformationen
- Stationsnummern
- Stationsname
- Koordinaten
- Stationshöhe
• Verfügbarkeit der Zeitreihen
- Zeitraum (für ein Datenkollektiv an einer Station)
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Geplante Weiterentwicklung
•Vergrößerung der MIRAKEL- Datenbasis•Zusätzliche Metadaten
•Verfügbarkeit von Zeitreihen, detailliertere historische Informationen
•Zusätzliche Klimadaten
•zusätzliche SYNOP und aerologische Daten
•Phänologische Daten
•Strahlungsdaten
•Historische globale Daten
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
•Verbesserung der Qualitätssicherung
•Verbesserung des Internetzugangs (UNIDART)
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
National Climate Data Warehouses
NMS
internet application
NMS
internet application
NMS
internet application
GTS
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
International Climate Data Centres
NMS NMS NMS
Data Centre
internet application
Data Centre
internet application
Data Centre
internet application
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Data Exchange Platform
NMS
NMS NMS
Integration Software
Virtual Climate Database
Internet applications
UNIDART
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt
Definition von Anforderungen an UNIDART
• ECSN Workshop in Langen (Nov 12-13, 2001)http://www.dwd.de:8080/research/klis/internat/ecsn/ecsn_workshop12112001/index.htm
• UNIDART Workshop in Langen (Jan 28-30, 2002) http://www.dwd.de/UNIDART/Workshop/
Hamburg, Mar 2002DKRZ Workshop, J. Behrendt Hamburg, Mar 2002
Klimadaten Klimadaten von der Oberfläche und aus der freien Atmosphäre
Zeitreihen
monatliche und tägliche Werte
DKRZ Workshop, J. Behrendt
Metadaten Verfügbarkeit Datenproduzent Daten- und Nutzerklassifikation (Zugriffsrechte) Stationsinformationen (auch historisch) Beschreibung der Elemente (einschließlich der Qualität) Nutzung von Metadatenstandards (CBS Empfehlungen)
Anforderungsliste für UNIDART
Hamburg, Mar 2002DKRZ Workshop, J. BehrendtDKRZ Workshop, J. Behrendt Hamburg, Mar 2002
Schlussbemerkung
•MIRAKEL ist optimiert für die interne Nutzung im DWD
•UNIDART ist vorgesehen für einen besseren Webzugang