APP-2: Datenqualität und Datenanalyse mit InfoZoom … · -Datenvalidierung über Webanbindung (z....

APP-2: Datenqualität und Datenanalyse mit InfoZoom und

IZDQ

Ingo Lenzen, Johannes Imhof

APP-2: Datenqualität und Datenanalyse mit InfoZoom und IZDQ

Agenda

1. Einleitende Gedanken

2. Datenqualität im ERP-Umfeld

3. Datenqualität im Griff

4. Steuerungskreislauf für Stammdaten

5. Fragen & Antworten

2 © 2014 proALPHA Software GmbH


Agenda

1. Datenqualität – Einleitende Gedanken


3. InfoZoom Data Quality – Datenqualität im Griff

4. Steuerungskreislauf für

Stammdatenmanagement (IZDQ & proALPHA)




Anforderungen Datenqualität

Anfo

rderu

ngen a

n d

ie

Date

nq

ua

litä

t (D

Q)

gesetzliche Regelungen

sonstige Regelungen (z.B. Verbandsempfehlungen)

Com

plia

nce

= R

eg

elü

berw

achu

ng

betriebliche Regelungen Kunde Unternehmen Lieferant

Mitarbeiter

4


Definieren

Messen

Analysieren Verbessern

Monitoren / Steuern

Datenqualität als kontinuierlicher Prozess Aufspüren neuer Problemfälle

Ganzheitliche Betrachtung der Daten

Definition eines Regelwerks (Business Rules)

Definition von Kennzahlen

Erstellung von Indexen

Analyse der Indexe

Feststellung des Gesamtindex

Bearbeitung der Regelverstöße

Historisiertes Controlling

Auswirkung von Maßnahmen

5


Datenqualitätspyramide

6

Gesamtheit unterschiedlicher

Qualitätsmerkmale

Einzelaspekt der Datenqualität

Objektive, messbare Größe, die in

Bezug auf unterschiedliche

Ausprägungen eines Qualitäts-

merkmals sensitiv reagiert

Daten-

Qualität

Qualitäts-

Merkmale

Qualitäts-

Metriken


Merkmale/Metriken zum Dateninhalt

7

Vollständigkeit Formatkonsistenz Zulässigkeit Plausibilität

(inhaltlich und zeitlich)

Format

nicht ok

Format ok

Nicht-

Definitions-

Bereich

Definitions-

bereich

Unschar-

fer Bereich

Feld

nicht leer

Feld

nicht leer

Feld leer

Feld leer

Feld

nicht leer

Feld leer

QM

QM

QM

Wert im

Wertebereich

Wert nicht im

Wertebereich

QM

Wert im

Wertebereich

Wert nicht im

Wertebereich

QM

Plausibilität greift nicht

Plausibilität greift

und ist ok


und ist nicht ok

Plausibilität greift nicht


und ist ok


und ist nicht ok

IM

IM

QM

QM

Format

nicht ok

Format ok

QM

IM

Inhalt

Legende Qualitätsmetrik Interne Metrik

QM

IM


Agenda









Negativbetrachtung: Auswirkung schlechter Stammdaten


Falsche Kontengruppe im Teilestamm

verursache falsche Buchungen in

Finanzbuchhaltung

Fehlende Bestandsbuchung aufgrund falscher

Schüttgutkennzeichen

Falsche Dispovorschläge

aufgrund unsauberer Dispoparameter

Unsaubere Statistiken wegen falscher

Regionen im Kundenstamm

Falsche Ermittlung der Steuer wg. falschen Steuergruppen im

Kundenstamm


Warum ist Stammdatenqualität wichtig?


bessere Prozessqualität

Reduzierung der Nacharbeit in

Folgeprozessen

Aussagefähigere Analysemöglichkeiten

Verminderung von Fehlbuchungen

Auffinden von Dubletten


Stammdatenqualität im Rahmen von „ERP-Governance“


Steuerungs- und Regelungssystem für die Entscheidungsfindung

Geschäftsprozess- und Konfigurationskontrolle

Regelwerk zur Umsetzung von Investitionsvorhaben

Steuerungs- und Regelungssystem für den Umgang mit Daten

Management der Systemumgebung und Kontrolle der Systemarchitektur

Qualitätssicherung und Testmanagement

Sicherheit

Endanwender Support Netzwerk

Anwenderbefähigung

Compliance und IT-Standards

Kontinuierliche

und

zielgerichtete

Nutzen-

steigerung

von proALPHA


Daten „Governance“ im ERP-Umfeld beinhaltet die folgenden Themen:

Verankerung von Prinzipien der Datenverantwortung

Definition von Verantwortlichkeiten für die Pflege der Daten

Regelungen zur Datensicherheit

Verfahren zur Sicherung der Datenqualität

Steuerungs- und Regelungssystem für den Umgang mit Daten



Einflussfaktoren auf die Stammdatenqualität – Beispiel

Teilestamm


Pflegequalität

Teilestamm

Definierte Verant-

wortlichkeit für die

Datenpflege

Benutzer-

dokumentation für

die Teilestammpflege

Kontrollsystem für

die Datenqualität

Festgelegter Prozess

für die Teilestamm-

anlage inkl. Workflow


Agenda









Evolution einer Business Rule

15 © 2014 | humanIT Software GmbH

ILE140411

Daten-bestand

Regel-Entwurf

Data Mining

Sofort-Korrektur-

Maßnahme Bewertung

Regel-Repository Regel-Konkretisierung


InfoZoom Datenqualität (IZDQ)


- Erstellung von Regeln und Jobs

- Kategorisierung von Regeln

- Speichern der

Analyseergebnisse

Optionen:

- Versand von Ergebnissen

- Datenvalidierung über

Webanbindung (z. B. Adressen)

- DQ-Stammblätter

- Informationsanreicherung

(…)

Externe

Systeme

pA Analyzer (optional)


Aufspüren von Fehlern und Lücken

Automatisiertes Datenqualitäts-Controlling

Integration von InfoZoom-Technologie

Hochflexible Anwendung durch individuelle Regelwerksdefinition

Geringer Investitions- und Zeitaufwand

Anbindung an externe Systeme mit Ergebnisrückfluss

IZDQ - automatisiertes DQ-Reporting



Direkter Import von FOX-Dateien nach IZDQ

Direkte Regelprüfung und Analyse

Vergabe von Regel-Restriktionen (Expert)

Hintergrundverarbeitung von Jobs (Batch)

Aktivitäten-Logging in Datenbank

CSV-Export von Inhalten für weiterverarbeitende Prozesse

Automatische Erstellung vorbereiteter Analysen (FOT/FOX)

IZDQ – Funktionen



Agenda









Die im folgenden gezeigte Integration ist kein fertiges Produkt, sondern zeigt die

prototypische Implementierung eines Steuerungskreislaufes mit InfoZoom Data

Quality und proALPHA® ERP.

Disclaimer



IZDQ in Verbindung mit proALPHA


Tabellen

DQ001

DQ002

:

Regel 1

Regel 2

Regel 3

Regel 4

Regel 5

Regel 6

Regel 7

:

Job 1

Job 2

Job 3

Job 4

:

Kennzahlen

Historisierte

Indexe

FOX

Export

Übergabe

pA

Workflow


Demo


IZDQ


IZDQ Startbildschirm


Übersicht der

erstellten Inhalte

Logging


IZDQ Tabellenübersicht


Verfügbare

Tabellen

Zugehörige

Tabellenfelder

Anzahl

Objekte

Daten-

Preview

Tabellen-

Funktionen


IZDQ Regelübersicht


Verfügbare

Regeln

Ansichts-

Filterung

Import

vordefinierter Regeln

Anzahl von Regeln

in der Ansicht

Export der Regel-

Definitionen (CSV) Regel-

Funktionen


Regeltypen von IZDQ

Formel Frei definierbare Prüfungen und Berechnungen

Dublette Prüfung auf Dubletten mittels „Soundex“-Verfahren

Metadata Generierung von Metadaten der Tabelle

Import Import von Daten

SQL Export Export von Ergebnissen oder Definitionen

ETL Zuordnen von extern definierten ETL-Jobs (pentaho PDI)

IZDQ Regeltypen



Beispiel: IZDQ Formel-Regel


Regeldefinition

Kategorie-

Zuordnung

Regelgewichtung:

Wie ist die Regeln in der

Wichtigkeit zu bewerten?

100: hoch - 10: niedrig

Aktivschaltung

Regeltest

Tabellenzuordnung

Indexbildung

% der Datensätze, die

diese Regel erfüllen als

Kennzahl

Vergabe von

Berechtigungen

Definition von

Ausnahmen

Verfügbare

Felder


Regeltest: 10% der Datenmenge als Preview



Formel-Regel

Index


Definition von Ausnahmen



Feste Ausnahmen

Unscharfe Ausnahme

Wertauswahl

Freie

Texteingabe Unscharfe

Suche (enthält)


Feldzuordnungen festlegen



Mapping

Quell-Felder

Ziel-Felder


Dubletten in Kombination der Felder »Vorname«, »Name2«, »Name3«

Beispiel: IZDQ Dubletten-Regel


Dubletten-

Definition

Tabellenzuordnung

Definition von

Ausnahmen

Verfügbare

Felder

Einstellung der

Genauigkeit


Anzahl der Objekte der Tabelle »DQAdressen«

Beispiel: IZDQ Dubletten-Regel


Metadata-

Funktion

Tabellenzuordnung


Import der Datei »adressen.fox« in die Tabelle »DQAdressen«

Beispiel: IZDQ Import Regel


FOX-Datei

Tabellenzuordnung

Feldmapping


Export der Tabelle »Overview« in eine FOX-Datei (OEM)

IZDQ SQL Export-Regel

SQL-Statement

Vorlagenzuordnung CSV- oder FOX-

Format

Zieldatei

© 2014 proALPHA Software GmbH


Starten des ETL-Jobs »J-Statistik«

IZDQ ETL-Regel

Job-Auswahl



IZDQ Jobübersicht

Verfügbare Jobs

Jobs sind im Batch zeit-

gesteuert ausführbar

(cmd-Datei).

Bsp: »izqd 2« für Job 2

Zugeordnete

Regeln

Testen von Jobs

Speichern der

Regel-Zuordnung

Manuelles Starten

eines Batch-Jobs



IZDQ Analyseübersicht

Ergebnisse der

Formel-Regeln Analyse-Viewer

Navigation

Dubletten

-Analyse

Export der Daten

Dubletten-Index



IZDQ Kategorienübersicht

Angelegte Kategorien



IZDQ Konfigurationsübersicht

Nutzung von PDI

SQL-Server IP-Adresse

Zuordnung zu einer

InfoZoom/Analyzer Lizenz

Lizenztyp



Beispiel: Entwicklung der Indexwerte

IZDQ Historienanalyse

Auswahl

Kennzahlentyp

Auswahl

Index

Darstellung

Indexwert

Darstellung

Abweichung



Beispiel:

Erstellung eines PDF-Stammblattes mit Auflistung der Regelverletzungen

IZDQ PDI Erweiterung

Ausgabe des

Stammblattes

als PDF

Analyseinformationen

Stammdaten



Mögliche abbildbare Prozesse (Auszug)

Automatischer Import der Rohdaten

Erstellung und Historisierung von Metadaten

Erstellung von Reporting-Tabellen

Erstellung von Reports (PDF, EXCEL etc.)

Erstellung von Stammdatenblättern je Sachbearbeiter

Automatischer Versand von Reports/Ergebnissen (Mail)

…

IZDQ PDI Erweiterung



Agenda






inkl. Reporting



? ? ? Haben Sie noch Fragen?

Ingo Lenzen, Johannes Imhof

Date post:	17-Sep-2018
Category:	Documents
Upload:	phamkhanh
View:	213 times
Download:	0 times

APP-2: Datenqualität und Datenanalyse mit InfoZoom … · -Datenvalidierung über Webanbindung (z....

Documents