+ All Categories
Home > Documents > Data Quality

Data Quality

Date post: 08-Dec-2014
Category:
Upload: mhp-a-porsche-company
View: 273 times
Download: 1 times
Share this document with a friend
Description:
Jedes Unternehmen ist auf zuverlässige und verlässliche Daten angewiesen, daher ist die Informationsgewinnung und Nutzung von großer Bedeutung. Data Quality Management war bisher eher ein Randthema, zumal die eingesetzten Data Warehouse Lösungen strikte Modellierungsarchitekturen folgten. Wie sieht es aber nun aus, wenn wir mit explodierenden Daten aus sehr flexiblen Datenquellen umgehen müssen. Sind die Ergebnisse dann noch zuverlässig? MHP stellt sich dieser Herausforderung und gibt Antworten.
34
© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH Neue Herausforderungen im BIG DATA Umfeld! Data Quality Bruce Jeong und Christine Manthey | MHPBoxenstopp: 01.07.2014
Transcript
Page 1: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH

Neue Herausforderungen im BIG DATA Umfeld!

Data Quality

Bruce Jeong und Christine Manthey | MHPBoxenstopp: 01.07.2014

Page 2: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 2

01.-02.07.2014 SAP Automotive Forum 2014 in Leipzig, Congress Center Leipzig

Einleitung

MHPBoxenstopp: Data Quality

Weitere MHPBoxenstopps

Agenda

Wo Sie uns in 2014 auch finden können…

www.mhp.de/Events

www.mhp.com/de/events

Zu Anfang sind alle Teilnehmer auf stumm geschalten.

08.07.2014 Wie Sie die “richtigen“ Kunden ansprechen! Analytisches CRM als zielgerichtetes Werkzeug

08.07.2014 Business Discovery – Natural Analytics mit QlikView

Der Weg zur intuitiven Entscheidungsfindung

15.07.2014 Connected Car Vernetztes Fahrzeug – Wohin geht die Reise?

15.07.2014 Schnelle und einheitliche Übersetzung in SAP Zeitersparnis und Qualitätssteigerung bei Übersetzungen

www.mhp.com/de/events

13.00 – 13.10 Uhr Begrüßung Christine Manthey

13.10 – 13.45 Uhr Vortrag Enterprise Data Quality Bruce Jeong

13.45 – 14.00 Uhr Offene Fragerunde Sie können bereits während der Web Session über

Chatfunktion im rechten Fenster Fragen einreichen.

www.youtube.de/MHPProzesslieferant www.slideshare.net/MHPInsights

Page 3: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 3

MHPBoxenstopp: Data Quality

Ihre Gesprächspartner

Bruce Jeong

Senior Manager

SU Business Intelligence

Christine Manthey

Senior Consultant

SU Business Intelligence

Page 4: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 4

Prozesse verbessern kann nur, wer sich im Detail auskennt.

Genauso wie im Großen und Ganzen.

MHPBoxenstopp: Data Quality

Wir wissen aus Erfahrung,

wie man Ziele erreicht und dabei vorneweg fährt.

Page 5: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 5

Mieschke Hofmann und Partner (MHP)

A Porsche Company

MHPBoxenstopp: Data Quality

Die Leistung

Management Consulting

System Integration

Application Management

Business Solutions

Business Solutions

Der Unterschied

Symbiose aus Prozess- + IT-Beratung l Prozesslieferant l Excellence l Automotive l Kunden

Die Kompetenz Ganzheitliches Beratungsportfolio über die gesamte Wertschöpfungskette

Technology

Services

Application

Mgmt.

Services

Product

Lifecycle

Mgmt.

Supply

Chain

Mgmt.

Production

& Opera-

tions Mgmt.

Customer

Relations

Mgmt.

Finance &

Controlling

Business

Intelligence

After

Sales

Retail

Mgmt.

Human

Resources

Page 6: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 6

MHP Business Solutions – wir liefern Best Practice Prozesse und Lösungen

Technology

Services

Application

Mgmt.

Services

Product

Lifecycle

Mgmt.

Supply

Chain

Mgmt.

Production

& Opera-

tions Mgmt.

Customer

Relations

Mgmt.

Finance &

Controlling

Business

Intelligence

After

Sales

Retail

Mgmt.

Human

Resources

BIOpS

BI Optimization

Solution

VisS

Visualization

Solution

TPS

Tailored Planning

Solution

TM P2E

Complaint

Management

PLM ERP

Integration

Freight Costs

Management

Inventory

Management

Supplier

Management

Orders on Hand/

Incoming Orders

CARBON HR Solution Accounting

Solution

BI Management

Solution

Translation

Management

EDI Solution FI/CO Template for

Automotive Dealer

Transportation

Management

for Automotive

Dealer

Performance

Management

Manufacturing

Solution

Lean Solution

Sales

Integration

Solution

SupM CompM

InvM OoH

FCM TRM

MFS

LeanS

SIS CARBON

FI/CO

DPM

HR

Correspondence

Solution

CorS

Talent

Management

TalM

AccS BIMS

EDIS GVM

Global VAT

Management

FCR

Factory Result

Calculation

SerS

Service-

management

Solution

Data

Quality

MHPBoxenstopp: Data Quality

Page 7: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 7

MHP Business Solutions – wir liefern Best Practice Prozesse und Lösungen

Technology

Services

Application

Mgmt.

Services

Product

Lifecycle

Mgmt.

Supply

Chain

Mgmt.

Production

& Opera-

tions Mgmt.

Customer

Relations

Mgmt.

Finance &

Controlling

Business

Intelligence

After

Sales

Retail

Mgmt.

Human

Resources

Prozessübergreifend

ContM

Contract

Management

ArchS

EDI Archiving

Solution

InMS

Interface

Monitoring

Solution

EDQ

Enterprise

Data Quality

BSC

Balanced

Scorecard

MobS

Mobile

Business

Solution

HANA

Real-time

Business

Solution

TestM

Test

Management

AutS

Automotive

Supplier

FMS

Fleet

Management

S&C

Security &

Compliance

MHPBoxenstopp: Data Quality

Page 8: Data Quality

Agenda

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 8

1. Definition Data Quality Management

2. Data Quality ein wesentlicher Baustein von Data Governance

3. Valide und reliable Daten im BIG DATA Umfeld - Wie sichern?

4. Data Quality Management - Was ist zu tun?

5. Methodischer und technologischer Ausblick

Page 9: Data Quality

Agenda

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 9

1. Definition Data Quality Management

2. Data Quality ein wesentlicher Baustein von Data Governance

3. Valide und reliable Daten im BIG DATA Umfeld - Wie sichern?

4. Data Quality Management - Was ist zu tun?

5. Methodischer und technologischer Ausblick

Page 10: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 10

Was verstehen wir unter Data Quality?

1. Definition Data Quality Management

Definition:

Focuses on the data from the source, through many stages of consumption

to analytics and reporting. Data Quality management is one of the pillars of

the Data Governance process. It focuses on Accuracy and Clarity of the

data.

Zuverlässige und valide Daten

Transparentes Data Management auf jeder Stufe der

Transformation

Durchgängiges Data Quality Management als

wesentlicher Bestandteil von Data Governance

Page 11: Data Quality

Agenda

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 11

1. Definition Data Quality Management

2. Data Quality ein wesentlicher Baustein von Data Governance

3. Valide und reliable Daten im BIG DATA Umfeld - Wie sichern?

4. Data Quality Management - Was ist zu tun?

5. Methodischer und technologischer Ausblick

Page 12: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 12

Data Governance und deren wichtige Bausteine

2. Data Quality ein wesentlicher Baustein von Data Governance

Data

Governance

Master

Data

Policies

Biz & Tech

Definitions

Metrics

Data Quality

Mgmt

Reference

Data

Process

Integration

Page 13: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 13

Intelligentes Data Quality Management hat hohe Ansprüche

2. Data Quality ein wesentlicher Baustein von Data Governance

Data

Quality

ETLV

Policies

Monitoring

Matching

and Lineage

Auditing

Profiling

Prozess

Standard-

ization

Page 14: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 14

Data Quality das zentrale Element von Quality Management?

2. Data Quality ein wesentlicher Baustein von Data Governance

Data Quality

Data Ownership

Data Performance

Management

Data

Management

Page 15: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 15

Ohne Verantwortlichkeiten gibt es kein Data Quality Management

2. Data Quality ein wesentlicher Baustein von Data Governance

Resp

on

sibility

Page 16: Data Quality

Agenda

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 16

1. Definition Data Quality Management

2. Data Quality ein wesentlicher Baustein von Data Governance

3. Valide und reliable Daten im BIG DATA Umfeld - Wie sichern?

4. Data Quality Management - Was ist zu tun?

5. Methodischer und technologischer Ausblick

Page 17: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 17

Datenvolumen wachsen dramatisch – Was ist zu tun?

3. Valide und reliable Daten in BIG DATA Umfeld – Wie sichern?

Welche Maßnahmen haben sie ergriffen um den Datenflut und

Qualität der Daten zu beherrschen?

Haben sie eine vernünftige IT- und damit auch eine Data

Quality-Strategie?

Wie messen sie Qualität und wie verbessern sie es?

Nutzen sie die richtigen Tools?

Haben sie zu jederzeit die relevanten Informationen zur

Verfügung?

IDC Studie: „Weltweites Datenvolumen verdoppelt sich alle 2 Jahre“

Page 18: Data Quality

18 © 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH

Data Quality war bisher ein Randthema bei stringenten IT Architekturen

3. Valide und reliable Daten in BIG DATA Umfeld – Wie sichern?

Da

ta W

are

ho

us

e

Dashboard Ad Hoc AnalysenStandard Berichte

BWPlanung Benutzerrechte-

verwaltung

SD

ETL

ETL

ETL

ET

L ET

L

ETL

ETLETL

Page 19: Data Quality

19 © 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH

Native HANA Szenarien bringen neue Herausforderungen an Data Quality

3. Valide und reliable Daten in BIG DATA Umfeld – Wie sichern?

Quelle: SAP

Page 20: Data Quality

20 © 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH

BIG DATA Architektur am Beispiel Hadoop – Data Quality möglich?

3. Valide und reliable Daten in BIG DATA Umfeld – Wie sichern?

DWH

Relational

Database

System

Structured

Data

Online Data

Access

HDFS2

Map

Reduce

YARN

HB

ase

HCatalog

PIG HIVE

Real Time

In Memory

FLU

ME, SQ

OO

P

Zo

o K

eep

er, A

MB

AR

I

Oo

zie, Fa

lco

n

Mah

ou

t

Hue

Social Media | Connected Car | Sensorik | RFID | Geo Data | Streaming Data |

Machine Data | Applications | Interaction | Video | Audio | eMail | Documents | …

CRM | ERP | Logs

| Clickstreams | …

Tez

Sto

rm

Neue

Quellen

Bestehende

Quellen

BI & Analytics | Dashboards | Multivariate | Network analysis | Predictive | Search | Applications | CRM | ERP

Page 21: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 21

Quality GAP beeinflusst die Glaubwürdigkeit von Informationen

3. Valide und reliable Daten in BIG DATA Umfeld – Wie sichern?

Page 22: Data Quality

Agenda

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 22

1. Definition Data Quality Management

2. Data Quality ein wesentlicher Baustein von Data Governance

3. Valide und reliable Daten im BIG DATA Umfeld - Wie sichern?

4. Data Quality Management - Was ist zu tun?

5. Methodischer und technologischer Ausblick

Page 23: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 23

Steigerung von 2-5 % des Umsatzes durch Minimierung von Verschwendungen

Waste, Rejects, Testing Costs, Rework, Customer Return, Inspection Costs or Recalls

Steigerung von 15-20 % des Umsatzes durch Minimierung von Verschwendungen

Pricing and billing errors, Incorrect Orders shipped, Planning Delays, Transportation

costs, Over processing cost, Defects, Excessive employee turnover, Low moral of

employees, Expensive Over Time, Inventory cost, Waiting Cost, Over production cost or

Time with dissatisfied customers

Warum wird das Potential aber nicht gehoben

Kein organisatorischer Durchgriff für die Umsetzung der

Verbesserungsmaßnahmen

Rein operative Reports die ein reaktives Maßnahmenwesen unterstützen, und von

Einzelinteressen getrieben werden – überall entsteht ein bisschen Qualität

Keine transparenten und wirkungsvollen Mechanismen zur Kommunikation ins

Management

Durch Data Quality Management Wettbewerbsvorteil sichern

4. Data Quality Management – Was ist zu tun?

Source: Joseph A. DeFeo – Juran Institute - The Tip of the Iceberg

Page 24: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 24

Qualitätsprozess zur Sicherung der Data Quality muss vollständig sein

4. Data Quality Management – Was ist zu tun?

Page 25: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 25

Qualitätsoffensive durch Data Quality Assessment am Beispiel SAP

4. Data Quality Management – Was ist zu tun?

Quelle: SAP

Page 26: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 26

Einsatz einer Data Quality Integration Plattform als ganzheitlicher Ansatz

4. Data Quality Management – Was ist zu tun?

Page 27: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 27

Beispiel für ein Data Quality Steward Lösung

4. Data Quality Management – Was ist zu tun?

Quelle: BDQ Steward

Page 28: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 28

Reicht der technologische Einsatz von Data Quality Lösungen allein aus?

4. Data Quality Management – Was ist zu tun?

Antwort:

Technology unterstützt die Verbesserung des Datenqualitätsprozesses

Technology unterstützt die Automatisierung von Quality Gate Prozessen und

verbessert die zeitnahe Analyse von Qualitätsproblemen

Ersetzt aber nicht die Mitarbeiter, Organisationsstrukturen und

Verantwortlichkeiten

Quelle: Jim Harris in Data Quality, Debates, Technology

Page 29: Data Quality

Agenda

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 29

1. Definition Data Quality Management

2. Data Quality ein wesentlicher Baustein von Data Governance

3. Valide und reliable Daten im BIG DATA Umfeld - Wie sichern?

4. Data Quality Management - Was ist zu tun?

5. Methodischer und technologischer Ausblick

Page 30: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 30

Unser Management Consulting Ansatz – Ihr Vorteil

5. Methodischer und technologischer Ausblick

Source: Joseph A. DeFeo – Juran Institute - The Tip of the Iceberg

Best Practice Evaluation Approach Quick-Scan

Analysis

Initialisierung Ergebnis

Data Assessment

Mit unserer Vorgehensmethode sind wir schnell in der Lage Qualitätslecks zu

erkennen und dauerhaft zu beheben

Fit/Gap Analyse

Best Practice Vergleich

Handlungs- / Umsetzungsempfehlung

Page 31: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 31

Intelligente Data Quality Management ohne IT Unterstützung nicht möglich

5. Methodischer und technologischer Ausblick

Page 32: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 32

5. Methodischer und technologischer Ausblick

MHP Enterprise Data Quality Solution basierend auf SAP

Architektur

Legacy

SAP

Data bases

Legacy

SAP

Data bases

SAP Information Steward

SAP Data Services

Mapping

Cleansing

Duplicate check

Adress cleansing

Enrichement

Value

transformation

Quality Rules

Ad-hoc Profiling

Dashboards

Clensing lists

Trend

Master and

transactional data

Page 33: Data Quality

33 © 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH

Ihre Ansprechpartner

MHPBoxenstopp: Data Quality – Neue Herausforderungen im BIG DATA

Bruce Jeong

CC Leiter Data Quality & Integration Management

SU Business Intelligence

Mobil: +49 (0)151 4066-7497

E-Mail: [email protected]

Page 34: Data Quality

© 2014 Mieschke Hofmann und Partner Gesellschaft für Management- und IT-Beratung mbH 34

www.mhp.com/

events

MHPTimetable Juli 2014

weitere Infos MHPBoxenstopp

Data Quality

13-14 Uhr | 01.07.14

MHPBoxenstopp

SAP HANA

11-12 Uhr | 01.07.14

Mit nur einem “Klick” zur MHPBoxenstopp Anmeldung

Haben Sie einen MHPBoxenstopp verpasst? Kein Problem - in

unserem MHP YouTube-Channel und auf unserem SlideShare

Profil finden Sie alle vergangenen Websessions:

MHPBoxenstopp

Wie Sie die „richtigen“

Kunden ansprechen!

11-12 Uhr | 08.07.14

MHPBoxenstopp

Business Discovery –

Der Weg zur intuitiven

Entscheidungsfindung

13-14 Uhr | 08.07.14

MHPBoxenstopp

Connetcted Car

11-12 Uhr | 15.07.14

MHPBoxenstopp

Schnelle und

einheitliche

Übersetzungen in SAP

13-14 Uhr | 15.07.14

MHPBoxenstopp

Social Business and

Collaboration

11-12 Uhr | 22.07.14

MHPBoxenstopp

MHP IT Service

Management Modelle

13-14 Uhr | 22.07.14

MHPBoxenstopp

Talent Management

11-12 Uhr | 29.07.14

MHPBoxenstopp

Planung mit BPC 10.1

13-14 Uhr | 29.07.14

www.youtube.de/MHPProzesslieferant

www.slideshare.net/MHPInsights


Recommended