Big DataAnwendungen und Infrastrukturen

InGeoForum 2015, Darmstadt

Dr. Fritz SchinkelProgram Manager Big Data Innovations

1 © 2015 FUJITSU

Eine neu entstehende Welt mit

zunehmender Vernetzung von

Menschen, Informationen, Dingen und

Infrastrukturen und grundlegenden

Veränderungen der Lebens- und

Arbeitszusammenhänge.

MenschenEnorme Anzahlindividueller Teilnehmer

Information Big Data Methoden für neue Werte

InfrastrukturAnbindung und

zentrale Speicherung und Verarbeitung

Fujitsus Vision der “Hyperconnected World”

2 © 2015 FUJITSU

Information: Verstehen der gesammelten Daten

!Demographie-

vorhersage

!

Verkehrstrends

! ! Windmessungen& Wettertrends

Risikobewertung des Wetters

!

Selbststeuerndes

Auto: 3.6 TB/h#

Smart-Meters für 80% der Stromverbraucher in der EU 2020

#

PBs an Daten von über

100Wettersatelliten#

Mehr als 50 Milliarden verbundene Dinge#

?

Ist unsere Energieversorgung

zukunftsfähig??

Sollten wir in Windenergie investieren?

3 © 2015 FUJITSU

Die 3 Dimensionen gemeinsam erzeugen geschäftlichen und gesellschaftlichen Nutzen

Erwartungen an eine Big Data Lösung

Gesellschaft & WirtschaftKommunikation & Schaffung informationsbasierter Geschäftsideen

Kreative IntelligenzSchnell wachsendes Wissen aus Daten und Informationen

Verbundene InfrastrukturUmfassende Verbindung, Speicherung und zeitnahe Verarbeitung

4 © 2015 FUJITSU

Big Data Infrastruktur Referenz Architektur:Plattform passend zur Geschäftsidee

Konsolidierte Daten Destillierte Essenz Angewandtes WissenVielfältige Data

Extrahieren, Sammeln Bereinigung, Transformation Entscheiden, HandelnAnalyse, Visualisierung

Datenquellen Analyseplattform Zugriff

Batch-Verarbeitung

Ereignis-Verarbeitung

Dialog-Verarbeitung

Datenbanken

Applikation-server

Web-Inhalte

Sensor-daten

AppsDiensteAbfragen

VisualisierungReporting

Mitteilungen

5 © 2015 FUJITSU

Big Data Wertschöpfungskette

Big Data

ExtrahierenSammeln

Strukturierte & unstrukturierte Daten

Geräte,Sensoren,

Internet der Dinge

BereinigenTransformierenAnalysieren

EntdeckenEntscheidenHandeln

Forschung & Entwicklung, Wissenschaft

Betrieb, Automatisierung,

Produktion

Interaktive Berichte, Werbung

Strukturierter Ansatz in drei Schritten.

Soziale Medien, offene Daten, verknüpfte Daten

6 © 2015 FUJITSU

Import, Analyse, Visualisierung

Big Data

ExtractCollect

Structured & unstructured data

Devices,sensors,

Internet of Things

CleanseTransformAnalyze

FindDecideAct

Research & development, science

Operation, automation,production

Interactive reporting, advertising

Social media, open data, linked data

Integriertes Werkzeug macht Big Data so einfach wie Excel und PowerPoint

ExtrahierenSammeln

BereinigenTransformierenAnalysieren

EntdeckenEntscheidenHandeln

7 © 2015 FUJITSU

Big Data Beratung und Dienstleistungen

� Big Data Assessment WorkshopVerständnis für die Möglichkeiten, Big Data gewinnbringend in der eigenen Organisation einzusetzen; Begutachtung der strategischen Ziele, Prozesse, und technischen Stärken.

� Strategie BeratungEntwicklung eines umfassenden Strategieplans und des optimalen Vorgehens zur effizienten Einführung von Big Data in Ihr Geschäft.

� Analyse-ServiceFujitsu Big Data Analyse-Services helfen unseren Kunden bei der schnellen Implementierung neuer Big Data Analysen und Abläufe ausgehend von erprobten Use Cases

� Hadoop-ServicePragmatische, effiziente und gesicherte Services zur Integration von Hadoop in Ihre Geschäftsprozesse.

� Integrations-ServiceBereitstellung der Lösung in Ihrer Umgebung mit bestehenden IT-Services.

• Fujitsu Big Data Assessment Workshop• Fujitsu Big Data Strategy Consulting• Fujitsu Big Data Analytics Services

Big Data Consulting Services

Fujitsu Services for Hadoop

Fujitsu Integration Services

8 © 2015 FUJITSU

Plattform: PRIMEFLEX for Hadoop

Hadoop platform sourcing options

� On-premise: Entry oder Rack

� Storage / Compute intensiv

� Off-premise: Cloud Angebot

Verbundene Infrastruktur

Entry Rack Cloud

Software-Stack

� Hadoop-Kern: Map Reduce / HDFS

� Analyse-Framework

Kreative Intelligenz

Big DataManagement

Analyse Software

Service und Beratung

� Integrations-Service

� Tool-unterstütztes Sizing

� Hadoop- und Analyse-Service

Gesellschaft & Wirtschaft

Analyse-Services

Integrations-Service undSizing

9 © 2015 FUJITSU

Big Data Anwendung:Wetter- und Klimatrend-Vorhersagen� Einsatzfälle:

� Erneuerbare Energiegewinnung (Solar, Wind)

� Planung in der Landwirtschaft (Hochwasser, Schädlingsbekämpfung)

� Planung von Ski-Gebieten

� Versicherungen / Investment

� Betrieb von Kraftwerken

� Verkehr: e-Mobility, Flugverkehr, Schiffsverkehr, Segeln

� Industrie, Handel, Dienstleistungen

� Fernsehanstalten

Benötigt: Historische Wetterdaten für Trend-Analysen.

10 © 2015 FUJITSU

Historische Wetterdaten für Trend-Analysen

� European Centre forMedium-Range Weather Forecasts (ECMWF)� Analyse der Wetterentwicklung

� Globale Wetterdaten seit 1979

� Zeitreihen von Wetterkarten

� Einsetzbar für Klimaforschung und lokale Trend-Analyse

� Wettermodell ERA Interim� ECMWF Re-Analysis; Interim (höchste Auflösung)

� Modellauflösung� Zeitintervall 6h

� Zeitraster: 0:00, 6:00, 12:00, 18:00 GMT

� Gitterabstand 0,25°(4 Punkte pro Grad)

� 128 meteorologische Parameter

� ~25 TB an Daten

� Zeitreihe von Wetterkarten

11 © 2015 FUJITSU

Plattform erfüllt Herausforderung

� Laden der ECMWF Daten im HDFS� MapReduce zur Invertierung …

� … von Zeitreihen weltweiter Wetterkarten

� … zu gitterpunktbasierten Zeitreihen einzelner meteorologischer Parameter

� Sortierte Key-Value-Paare� Key = Geokoordinaten + Zeit

� Value = Meteorologische Werte

� Java Service� Ermittlung nächstliegender Zeitreihen

� Interpolation der benötigten lokalen Zeitreihe

� Webseite� Benutzer-Interaktionen

� Visualisierung der Ergebnisse

� Inkrementeller Update durch kurze MR Jobs� Offen für neue Korrelationen zu Wetterdaten

Import derWetterhistorie

Invertieren der Zeitreihen

Ermittlung nächstliegender Zeitreihen,Interpolation der benötigten lokalen

Zeitreihe

Visualisierung der Ergebnisse

Weitere Fragen und Antworten zum Wetter

12 Copyright 2014 FUJITSU

Showcase

13 © 2015 FUJITSU

PRIMEFLEX for Hadoop Highlights

Integriertes System

Verbindet den Komfort vorkonfigurierter und vorgetesteter Hardware mit den ökonomischen Vorteilen von Open Source Software

Analytische Fähigkeiten

Self-service Big Data Analysen, Benchmarking, Historische Vergleiche, Korrelationen, Vorhersage-Funktionen

Visualisierung

Mächtige dynamische Visualisierung von Big Data Szenarien mit vielfältigen Datenquellen und hoher Produktivität

Ergänzung durch passende ServicesFlexible Roadmap zu Big Data Strategie, Anwendungen und Werten

14 © 2015 FUJITSU

Big Data & Geoinformation

� VisualisierungVisualisierungVisualisierungVisualisierung von raumbezogenen Daten mit zusätzlichen Kontexten - die überwiegende Anzahl an heutigen Informationen haben einen Raumbezug und stehen somit direkt im Kontext zu Big Data

� Datenmengen Datenmengen Datenmengen Datenmengen –––– Geoinformation stehen für riesige Datenmengen - per se ein Big Data Thema (der Datenmenge, der Verarbeitung, ...)

� VerknüpfungenVerknüpfungenVerknüpfungenVerknüpfungen von relativ statischen Bestandsdaten mit dynamischen Daten in Echtzeit mit dem Raumbezug als Ordnungselement.

� Schnelle Visualisierung Schnelle Visualisierung Schnelle Visualisierung Schnelle Visualisierung von bis dato nur als reine Zahlen verfügbares Datenmaterial (u. a. Sensorik).

� Einbeziehung nutzergenerierter Geoinformationennutzergenerierter Geoinformationennutzergenerierter Geoinformationennutzergenerierter Geoinformationen (Crowd Scouring).

� Qualifizierung und Validierung der Datenqualität Qualifizierung und Validierung der Datenqualität Qualifizierung und Validierung der Datenqualität Qualifizierung und Validierung der Datenqualität (Hinreichende Verprobung von Plausibiltäten in Echtzeit über räumliche Strukturierungen).

� Zielgruppenorientierte Bereitstellung Zielgruppenorientierte Bereitstellung Zielgruppenorientierte Bereitstellung Zielgruppenorientierte Bereitstellung von Geodaten.

15 © 2015 FUJITSU

Kontakte

Fujitsu GermanyDr. Fritz SchinkelProgram Manager Big Data Innovationsfritz.schinkel@ts.fujitsu.com

Meteomatics GmbH Dr. Martin J. FenglerGeschäftsführermfengler@meteomatics.com

Besuchen Sie auch

http://www.fujitsu.com/de/solutions/business-technology/bigdata/

http://www.fujitsu.com/de/solutions/infrastructure/integrated-system/primeflex/

16 © 2015 FUJITSU