Text BI Testing: Status Quo und Herausforderungen Text€¦ · Operative Vorsysteme...

1 Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II

Robert Krawatzeck, Prof. Dr. Peter Gluchowski Fakultät für Wirtschaftswissenschaften, Lehrstuhl für Wirtschaftsinformatik II

BI Testing: Status Quo und Herausforderungen

Robert Krawatzeck, Prof. Dr. Peter Gluchowski

13. Europäische TDWI-Konferenz

17. – 19. Juni 2013

MOC Veranstaltungscenter München

W2P-2: Mittwoch, 19. Juni 2013

16:30 Uhr – 18:00 Uhr

Text

Text

Text

Text

Text

(Quellenangabe:)

Text



Agenda

1. Ergebnisse Online-Befragung

1. Angaben zum Unternehmen

2. Angaben zum BI-System

3. Angaben zum BI Testing

4. Einschätzung des Nutzens und der Zufriedenheit

5. Herausforderungen

2. Kurzvorstellung Testing Frameworks

3. Fragen & Diskussion

Text

Text

Text

Text

Text

(Quellenangabe:)

Text



Online-Befragung „Aktuelle Testpraktiken in der Entwicklung und dem Betrieb

von Business-Intelligence-Systemen“

1.

Text

Text

Text

Text

Text

(Quellenangabe:)

Text



Forschungsfragen

BI Testing

1. Wie viele Unternehmen testen bereits ihre BI-Systeme?

Hypothese 1: Der Wert des BI Testings ist bekannt, derzeit gibt es jedoch noch zu

viele Herausforderungen, so dass das Testen und speziell das automatisierte Testen

von BI- Systemen noch nicht weit verbreitet ist.

2. Wie ist die derzeitige Werkzeug- und Methodenunterstützung für BI Testing

zu bewerten?

Hypothese 2: Sowohl die derzeitige Werkzeug- als auch die derzeitige Methoden-

unterstützung ist nicht zufriedenstellend.

3. Auf welche Testarten wird derzeit der Fokus im BI Testing gelegt: Werden

eher funktionale oder nicht funktionale Tests durchgeführt?

Hypothese 3: Der derzeitige Fokus liegt auf dem Testen von nicht funktionalen Anf-

orderungen (speziell Performanz und Datenqualität). Funktionale Anforderungen und

die spezielle nicht funktionale Anforderung „Sicherheit“ werden im Vergleich weniger

häufig getestet.

Text

Text

Text

Text

Text

(Quellenangabe:)

Text



Fragebogendesign

Online-Befragung

Nicht repräsentative Pilotstudie

Filterfrage: Unterscheidung in „Aktive Tester“ vs. „Keine Tester“

Meist gestützte Fragestellung mit Möglichkeit zur Ergänzung

Anonym

Mehrfachteilnahme durch Cookies ausgeschlossen

Pretest

– Inhaltlich: 10 Pretester (Wissenschaftler, Berater)

– Technisch: 3 Pretester (Wissenschaftler, Hilfswissenschaftler)

Zielgruppe: TDWI Germany Mitglieder

– BI Professionals im deutschsprachigen Raum,

– Einladung via Mail-Verteiler (870 Stück)

Interesse: 84 Mitglieder (9,7 %)

Rückläufer: 55 (54 vollst. ausgefüllt, einmal zu 80%; Rücklaufquote: 6,3%)

Laufzeit (Feldphase) vom 13. Mai – 31. Mai 2013

Text

Text

Text

Text

Text

(Quellenangabe:)

Text



Online-Befragung Angaben zum Unternehmen

1.

Text

Text

Text

Text

Text

(Quellenangabe:)

Text



0

0

0

0

1

1

1

1

1

1

2

2

3

3

3

5

6

8

8

9

0 1 2 3 4 5 6 7 8 9 10

Baugewerbe

Ingenieurdienstleistung

Maschinenbau/Elektrotechnik

Wissenschaft und Forschung

Automobilbau/Automobilzulieferer

Energieversorgung

Gesundheitswesen

Industrie

Transport/Logistik

Sonstige

Dienstleistungen allgemein

Touristik

Handel

Pharma/Chemie/Biotechnologie

Unternehmensberatung

Öffentliche Verwaltung

Versicherungen

Banken/Finanzdienstleister

Telekommunikation und Medien

IT-System-/Software-Hersteller

1.1: In welcher Branche ist ihr Unternehmen tätig?

Angaben zum Unternehmen

Online-Befragung Text

Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 55)



1.2: Wie viele fest angestellte Mitarbeiter hat Ihr Unternehmen insgesamt?



Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 51)

2,0%

7,8%

11,8%

7,8%

45,1%

13,7%

9,8%

2,0% 0,0%

5,0%

10,0%

15,0%

20,0%

25,0%

30,0%

35,0%

40,0%

45,0%

50,0%

1 - 10 11 - 100 101 - 500 501 - 1.000 1.001 - 5.000 5.001 - 20.000 20.001 -100.000

> 100.000



1.3: Wie hoch war der Umsatz Ihres Unternehmens im vergangenen

Geschäftsjahr?



Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 55)

32,7%

1,8%

0,0%

12,7%

1,8%

1,8%

3,6%

3,6%

0,0%

41,8%

0,0% 5,0% 10,0% 15,0% 20,0% 25,0% 30,0% 35,0% 40,0% 45,0%

Nicht bekannt / Keine Angabe

< 2 Mio. €

2 Mio. € – 10 Mio. €

11 Mio. € – 50 Mio. €

51 Mio. € – 100 Mio. €

101 Mio. € – 300 Mio. €

301 Mio. € – 500 Mio. €

501 Mio. € – 700 Mio. €

701 Mio. € – 900 Mio. €

> 900 Mio. €



1.4: Welche Position haben Sie in Ihrem

Unternehmen?

1.5: Ist Ihre Tätigkeit eher als Entwickler

oder als Anwender des BI-Systems

zu sehen?



Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 55)

45,5%

30,9%

9,1%

3,6%

3,6% 1,8%

5,5%

Verantwortlicher für Business Intelligence

Mitarbeiter im Bereich Business Intelligence

Leiter Fachbereich

Mitarbeiter Fachbereich

CEO / Geschäftsführung

CIO / IT -Leiter

Sonstige

45,5%

29,1%

14,5%

Beides (z.B. Berater)

Entwickelnd (z.B. Entwickler)

Anwendend (z.B. Manager)

(n = 49)



Online-Befragung Angaben zum BI-System

1.

Text

Text

Text

Text

Text

(Quellenangabe:)

Text



2.1: Welche Organisationseinheit(en) ist/sind in Ihrem Unternehmen für die

Erstellung und Anpassung der folgenden BI-Systemteile zuständig?

Angaben zum BI-System


Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 55)

0

10

20

30

40

50

60

Operative Vorsysteme Datenintegration (ETL) Datenhaltung (DWH) Datenanalyse / Informationsgewinnung

(OLAP, …)

Informationspräsentation (Berichte, Dashboards,

…)

IT-Abteilung BI-Kompetenzcenter (BICC) Fachbereiche

Externe Dienstleister Sonstige / Nicht bekannt



2.3: Existiert in Ihrem Unternehmen ein

Vorgehensmodell für die Erstellung

und Anpassung der BI-Systeme?

… welches Vorgehensmodell?



Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 55) (n = 21)

50,9%

40,0%

9,1%

Ja

Nein

Nicht bekannt

57,1%

33,3%

9,5%

Klassisches VGM

Agiles VGM

Eigenes VGM



2.6: Hat Ihr Unternehmen bereits

Erfahrung im Testen von

(klassischen) Softwaresystemen?

2.7: Hat Ihr Unternehmen bereits

Erfahrung im Testen von BI-

Systemen?



Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 55) (n = 55)

92,7%

3,6% 3,6%

Ja

Nein

Nicht bekannt

52,7%

47,3%

Testpraktiken sind im Einsatz

Keine Testpraktiken imEinsatz



2.7: Hat Ihr Unternehmen bereits Erfahrung im Testen von BI-Systemen? (im Detail)


Text

Text

Text

Text

(Quellenangabe:)

Text


(n = 55)

52,7%

14,5%

3,6%

9,1%

20,0%

Testpraktiken sind im Einsatz

Der Einsatz von Testpraktiken istgeplant

Testpraktiken sind evaluiert

Evaluation von Testpraktiken istgeplant

Kein Einsatz von Testpraktikengeplant



Online-Befragung Angaben zum BI Testing (Aktive Tester)

1.

Text

Text

Text

Text

Text

(Quellenangabe:)

Text



3.4: Wer stellt bei Ihnen im Unternehmen die Anforderungen für neue

Komponenten/Funktionen an die folgenden BI-Systemteile?

Angaben zum BI Testing (Aktive Tester)


Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 29)

0

5

10

15

20

25

30

Operative Vorsysteme Datenintegration (ETL) Datenhaltung (DWH) Datenanalyse / Informationsgewinnung

(OLAP, …)

Informationspräsentation (Berichte, Dashboards,

…)

BICC Entwickler Externe Dienstleister Fachanwender

Management QS-Abteilung Test-Team Sonstige



3.5: Wer definiert bei Ihnen im Unternehmen die Testfälle?



Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 29)

0

1

1

3

4

10

14

14

19

0 2 4 6 8 10 12 14 16 18 20

Management

Sonstige

Automatische Generierung aus der Spezifikation

Qualitätssicherungsabteilung

Externe Dienstleister

BICC

Fachanwender

Test-Team

Entwickler



3.6: Wer führt bei Ihnen im Unternehmen die Tests durch?



Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 29)

0

0

1

7

9

14

21

21

0 5 10 15 20 25

Management

Qualitätssicherungsabteilung

Sonstige

Externe Dienstleister

BICC

Test-Team

Entwickler

Fachanwender



3.7: In welchen Phasen der Entwicklung

des BI-Systems wird getestet?

3.8: Wie werden die Tests in Ihrem

Unternehmen ausgeführt?



Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 29) (n = 29)

31,0%

24,1%

20,7%

13,8%

10,3%

Jeweils nach der Integration einer neuen Komponente/Funktion in dasBI- System

Unbestimmt, parallel zum Entwicklungsprozess

Jeweils vor und nach der Integration einer neuenKomponente/Funktion in das BI- System (testgetriebene Entwicklung)

Einmalig am Ende des Entwicklungsprojektes

Sonstige

72,4%

24,1%

3,4%

Sowohl manuell als auch automatisiert

Manuell

Automatisiert mitWerkzeugunterstützung



3.9: Wird in Ihrem Unternehmen ein standardisiertes Vorgehen zum Testen

eingesetzt? Wenn ja, welches?



Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 29)

0,0%

0,0%

0,0%

0,0%

0,0%

0,0%

3,4%

3,4%

3,4%

3,4%

10,3%

31,0%

44,8%

0,0% 5,0% 10,0%15,0%20,0%25,0%30,0%35,0%40,0%45,0%50,0%

Ja, BS 7925-2 – Software Testing: Software Component Testing

Ja, IEEE 1028 – Software Reviews and Audits

Ja, IEEE 829 – Software Test Documentation

Ja, ISO 29119 – Software Testing

Ja, ISO 9126 – Software Product Evaluation

Ja, Test Management Approach (TMap)

Ja, ohne spezifische Angabe

Ja, Eigenes

Ja, IEEE 1008 – Software Unit Testing

Ja, Capability Maturity Model Integration (CMMI) Validation(VAL) oder Verification (VER)

Ja, IT Infrastructure Library (ITIL) Validation and Testing

Nicht bekannt

Nein



3.10: Welche Komponenten des BI- Systems testet Ihr Unternehmen?



Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 29)

3

6

25

21

27

25

22

20

25

16

18

23

14

15

2

26

22

21

4

5

0

0 5 10 15 20 25 30

Datenschemata der operativen Vorsysteme

Stored Procedures der operativen Vorsysteme

Extraktion der operativen Daten

Bereinigung der operativen Daten (Data Cleaning)

Transformation der operativen Daten in Zielstrukturen

Laden der transformierten Daten ins Data Warehouse

Abfragen (SQL Queries) in ETL-Prozessen

Datenschema des Data Warehouses

Daten des Data Warehouses

Gespeicherte Prozeduren (Stored Procedures) im Data…

Datenschemata der Data Marts

Daten der Data Marts

Gespeicherte Prozeduren (Stored Procedures) der Data Marts

OLAP-Funktionen (Online Analytical Processing)

Text-/Data-Mining-Funktionen

Berichte (Reports)

Abfragen (SQL Queries) in Berichten (Reports)

Front-End-Werkzeuge (beispielsweise Portale und…

Datenschemata des Metadatenmanagementsystems

Daten des Metadatenmanagementsystems

Sonstige



3.11: Welche Testarten werden derzeit bei Ihnen in BI-Projekten durchgeführt?



Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 29)

55%

66%

72%

79%

97%

97%

100%

24%

10%

21%

14%

3%

3%

7%

21%

3%

3%

14%

3%

3%

3%

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Security Tests

User Interface (UI) Tests

Data Quality Tests

Performance Tests

Unit Tests

Acceptance Tests

Integration Tests

Durchgeführt Geplant Nicht durchgeführt Nicht bekannt



3.12: Wie werden in Ihrem Unternehmen die

zur Durchführung von Tests

notwendigen Testdatensätze erstellt?

… beliebteste Settings:



Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 29) (n = 29)

0

5

12

15

20

0 5 10 15 20 25

Sonstige Vorgehensweise, undzwar

Es werden automatisiert neueTestdatensätze erzeugt.

Es werden manuell neueTestdatensätze erzeugt.

Es werden anonymisierteDatensätze aus dem

Produktivsystem verwendet.

Es werden Datensätze aus demProduktivsystem verwendet.

1. ausschließlich Datensätze aus dem

Produktivsystem (24,1%)

2. sowohl Datensätze aus dem

Produktivsystem als auch manuell

erzeugte Testdatensätze (17,2%)

3. ausschließlich anonymisierte Datensätze

aus dem Produktivsystem (13,8%)



3.13: Wie verwaltet Ihr Unternehmen…



Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 29)

10%

10%

17%

72%

79%

28%

14%

7%

45%

3%

3%

10%

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

… Testfälle?

… Testergebnisse?

… Testdatensätze?

Werden in einemVersionsverwaltungssystemgespeichert

Werden dokumentiert Werden nicht verwaltet Nicht bekannt



51,7%

34,5%

10,3%

3,4%

Ja, es wird in ein Produktivsystem sowie je ein Entwicklungs- undein Testsystem unterschieden. Die Tests werden in derTestumgebung ausgeführt.

Ja, es wird in ein Produktivsystem sowie mehrere Entwicklungs-und Testsysteme unterschieden. Die Tests werden in denTestumgebungen ausgeführt.

Nein, es wird in ein Produktivsystem sowie ein Entwicklungssystemunterschieden. Die Tests werden in der Entwicklungsumgebungausgeführt.

Sonstiges

Nein, es wird in ein Produktivsystem sowie mehrereEntwicklungssysteme unterschieden. Die Tests werden in denEntwicklungsumgebungen ausgeführt.

Nein, die Tests werden im Produktivsystem ausgeführt.

Nein, es werden keine Tests ausgeführt.

Nicht bekannt

3.14: Sieht Ihre Architektur eine dedizierte Testumgebung vor?



Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 29)

Alle „Aktive Tester“ unterscheiden zumindest in Produktiv- und

Entwicklungssystem!



3.15: Welche der folgenden Werkzeuge sind Ihnen bekannt bzw. setzen Sie in BI-

Projekten ein?



Text

Text

Text

Text

(Quellenangabe:)

Text

1

1

1

1

1

1

2

3

4

9

1

1

1

1

2

2

3

4

6

6

3

3

1

2

3

3

5

7

3

4

7

4

9

9

9

8

8

6

8

8

12

10

9

8

8

6

8

8

6

5

0 2 4 6 8 10 12 14 16 18 20

TestBench (Origsoft) (n = 11)

Watir (Open Source) (n = 11)

utPLSQL (Open Source) (n = 12)

dbForge (Devart) (n = 12)

Quest Code Tester for Oracle (Quest Software / Dell) (n = 14)

SQL Power Architect (SQLPower Software) (n = 12)

FitNesse mit DbFit (Open Source) (n = 12)

TSQLUnit (Open Source) (n = 12)

Data Subset (Grid-Tools) (n = 14)

BI.Quality (ORAYLIS) (n = 13)

QuerySurge (RTTS) (n = 13)

SQLUnit (Open Source) (n = 12)

Jailer (Open Source) (n = 14)

Data Subset (Informatica) (n = 14)

DBUnit (Open Source) (n = 14)

Selenium (Open Source) (n = 15)

SQL Developer Data Modeler (Oracle) (n = 17)

Toad (Quest Software / Dell) (n = 19)

Wird eingesetzt Ist geplant einzusetzen Ist bekannt, wird aber nicht eingesetzt Unbekannt



3.16: Setzen Sie neben den genannten Werkzeugen noch weitere Werkzeuge in

Ihren BI-Projekten ein? Wenn ja, welche?



Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 11)

1

1

1

1

3

5

0 1 2 3 4 5 6

Junit - zum Testen des eigenen Frameworks

JUnit mit CruiseControl

IBM Data Manager

Aqua Data Studio

HP Quality Center

Eigenentwicklung(Für: ETL-Strecken, Reports, Integration Tests, Acceptance Tests)

(Mit: Shell-Script, SQL-Scripts, Scheduler des BI-Frontends)



3.17: Weshalb setzt Ihr Unternehmen Testpraktiken in BI-Projekten ein?



Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 29)

0

4

5

6

9

10

13

17

24

27

0 5 10 15 20 25 30

Sonstige

Motivationssteigerung der Entwickler

Unterstützung für die Entwickler

Strukturiertere Anforderungsaufnahme durch Test-Spezifikation

Gesetzliche Vorgaben

Verhinderung von zusätzlichen Kosten

Gefühl von Sicherheit

Erleichterte Abnahme von neuen Funktionen/Komponenten desBI-Systems durch Test-Spezifikation

Risikominimierung

Qualitätssteigerung der zu entwickelnden Produkte



Online-Befragung Einschätzung des Nutzens und der Zufriedenheit

1.

Text

Text

Text

Text

Text

(Quellenangabe:)

Text



4.1: Sind schon einmal Fehler in Ihrem BI- System aufgetreten, welche lange Zeit

unbemerkt waren und die vielleicht durch strukturierte Testpraktiken hätten

früher identifiziert werden können? (Keine Tester)

Einschätzung des Nutzens und der Zufriedenheit


Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 26)

65,4%

30,8%

3,8%

Ja

Nicht bekannt

Nein



4.2: Wie schätzen Sie den möglichen

Nutzen des Testens von BI- Systemen

im Vergleich zum nötigen Aufwand

ein? (Keine Tester)

Wie schätzen Sie den erbrachten

Nutzen des Testens von BI-Systemen

im Vergleich zum betriebenen

Aufwand ein? (Aktive Tester)



Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 26) (n = 29)

vs.

0,0%

10,0%

20,0%

30,0%

40,0%

50,0%

60,0%

-3 -2 -1 0 1 2 3

Einschätzung Verhältnis von Nutzen zu Aufwand: Tester

Einschätzung erwartetes Verhältnis von Nutzen zu Aufwand:Nicht-Tester

0,77

1,17

-2,00

-1,00

0,00

1,00

2,00

Mittlere Einschätzungerwartetes Verhältnis vonNutzen zu Aufwand: Nicht-

Tester

Mittlere EinschätzungVerhältnis von Nutzen zu

Aufwand: Tester

Nicht-Tester bewerten die Effektivität von BI Testing signifikant geringer als Tester.

(p < 0.05)

2 = sehr hoch

0 = neutral

-2 = sehr niedrig




Online-Befragung

“Nicht-Tester bewerten die Effektivität von BI Testing signifikant geringer

als Tester.”

Entweder:

Nicht-Tester schätzen den Aufwand für BI Testing höher ein als er

tatsächlich ist oder

Nicht-Tester schätzen den Nutzen von BI Testing geringer ein als er

tatsächlich ist oder

eine Kombination aus beidem



Gegenüberstellung Zufriedenheit „aktuelle Testsituation“



Text

Text

Text

Text

(Quellenangabe:)

Text

0,0%

5,0%

10,0%

15,0%

20,0%

25,0%

30,0%

35,0%

-4 -3 -2 -1 0 1 2 3 4

… Ihrer aktuellen Test-Situation? (Tester)

… Ihrer aktuellen Test-Situation? (Nicht-Tester)

-0,96

1,18

-3,00

-2,00

-1,00

0,00

1,00

2,00

3,00

Nicht-Tester sind signifikant weniger zufrieden mit ihrer aktuellen Testsituation als

Tester. (p < 0.01)

Mittlere Zufriedenheit aktuelle Testsituation: Nicht-Tester

Mittlere Zufriedenheit aktuelle Testsituation: Tester

3 = sehr zufrieden

0 = weder … noch

-3 = überhaupt nicht zufrieden



Gegenüberstellung Zufriedenheit

„derzeitige Werkzeugunterstützung“



Text

Text

Text

Text

(Quellenangabe:)

Text

3 = sehr zufrieden

0 = weder … noch


0,0%

5,0%

10,0%

15,0%

20,0%

25,0%

30,0%

35,0%

40,0%

-4 -3 -2 -1 0 1 2 3 4

… der derzeitigen Werkzeugunterstützung zum Testen von BI-Systemen? (Tester)

… der derzeitigen Werkzeugunterstützung zum Testen von BI-Systemen? (Nicht-Tester)

-1,46

0,25

-3,00

-2,00

-1,00

0,00

1,00

2,00

3,00

Nicht-Tester sind signifikant weniger zufrieden mit der derzeitigen

Werkzeugunterstützung als Tester. (p < 0.01)

Mittlere Zufriedenheit derzeitigen Werkzeugunterstützung:Nicht-TesterMittlere Zufriedenheit derzeitigen Werkzeugunterstützung:Tester



Gegenüberstellung Zufriedenheit

„derzeitige Methodenunterstützung“



Text

Text

Text

Text

(Quellenangabe:)

Text

3 = sehr zufrieden

0 = weder … noch


0,0%

10,0%

20,0%

30,0%

40,0%

50,0%

60,0%

-4 -3 -2 -1 0 1 2 3 4

… der derzeitigen Methodenunterstützung zum Testen von BI-Systemen? (Tester)

… der derzeitigen Methodenunterstützung zum Testen von BI-Systemen? (Nicht-Tester)

-1,33

0,36

-3,00

-2,00

-1,00

0,00

1,00

2,00

3,00

Nicht-Tester sind signifikant weniger zufrieden mit der derzeitigen

Methodenunterstützung als Tester. (p < 0.01)

Mittlere Zufriedenheit derzeitigen Methodenunterstützung:Nicht-TesterMittlere Zufriedenheit derzeitigen Methodenunterstützung:Tester



Online-Befragung Herausforderungen

1.

Text

Text

Text

Text

Text

(Quellenangabe:)

Text



5.1: Wo sehen Sie aktuell Herausforderungen bzw. Hinderungsgründe beim Testen von

BI-Systemen? (ungestützte Fragestellung)

Herausforderungen


Text

Text

Text

Text

(Quellenangabe:)

Text

Automatisierung (3)

Anonymisierung (Datenschutz) (2)

Komplexität Erstellung der manuellen

Testdaten (2)

Große Testvolumen (1)

Unscharfe Anforderungsdefinition (1)

Kosten / Nutzen nicht erfassbar (1)

Zeit (1)

Adaption von Wissen SE auf BI (1)

Keine vollständige Beschreibung

Geschäftsvorfälle (1)

Aufbau Testumgebung (Berücksichtigung

aller mögl. Komponentenkombin.) (1)

Erfahrung professionelles Testen fehlt (1)

Keine Versionierung der BI-Systeme (1)

Begrenztes Fachpersonal (4)

Zeit (3)

Kein standardisiertes Verfahren (3)

Fehlende Test-Tools (2)

Automatisierung (2)

Komplexität Erstellung der manuellen

Testdaten (2)

Komplexität im vgl. zu SE (2)

Aufwendig (2)

Kosten / Nutzen nicht erfassbar (1)

Änderung operativen Systeme ohne

Information an BI (1)

Budget (1)

Semantische Fehler in ETL (1)

Anonymisierung (Datenschutz) (1)

„Aktive Tester“: „Keine Tester“: (n = 14) (n = 19)



0% 5% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70%

Geeignete Testwerkzeuge für den Bereich „operative Vorsysteme“.

Zur Verfügung gestelltes Budget für das Testen von BI-Systemen.

Erstellung geeigneter Testdatensätze.

Verwaltung von Testfällen, Testdaten und Testergebnissen.

Geeignete Testwerkzeuge für den Bereich „Datenhaltung (DWH)“.

Geeignete Testwerkzeuge für den Bereich „Informationspräsentation"

Bekanntheit des Nutzens von Testpraktiken für BI-Systeme.

Geeignete Testwerkzeuge für den Bereich „Datenanalyse".

Bekanntheit des ROI von Testpraktiken für BI-Systeme.

Erfassung der erreichten Testabdeckung (Test-Coverage).

Geeignete Testwerkzeuge für den Bereich „Datenintegration (ETL)“.

Geeignete Methodenunterstützung für das Testen von BI-Systemen.

Automatisierung des Testprozesses.

Aktuelle Herausforderung Keine Herausforderung Zukünftige Herausforderung (in 5 Jahren)

5.3: Wie schätzen Sie die folgenden Sachverhalte ein? (gestützte Fragestellung)

Herausforderungen


Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 54)



BI Testing


Text

Text

Text

Text

(Quellenangabe:)

Text

(n = 54)

Das Grundproblem ist aus meiner Sicht das Erkennen von Fehlern. Bisher

sind die schwierigsten Fehler aus meiner Sicht stets fachlicher Natur gewesen.

Technisch kann sehr viel heute schon geleistet werden. Aber

welches System sagt mir, dass der Preis eines Kugelschreibers nicht 0,69

Euro sondern 0,70 Euro hätte sein sollen.

50 % unserer Probleme sind Fehler bei der Eingabe von Informationen.

40 % bei Änderungen operativer Abläufe ohne Information an BI

nur 10 % BI Fehler (liegt an der hervorragenden Mannschaft :-)

“

„ (Kommentar eines Teilnehmers, Online-Umfrage „BI Testing“, 2013, ID 31)



Testing Frameworks 2.

Text

Text

Text

Text

Text

(Quellenangabe:)

Text



Übersicht

Testing Frameworks

Laut Online-Befragung die am häufigsten eingesetzten kommerziellen Werkzeuge:

HP Quality Center Quest Software / Dell Toad

Kurzbeschreibung

Automated Software Quality

Testing and Management

Integrated Development

Environment for SQL

Herstellerseite http://www.hp.com/go/qualityc

enter

http://www.quest.com/toad/

Ausgewählte Open-Source-Werkezuge:

DBUnit FitNess mit DbFit Selenium

Kurzbeschreibung

Unit Test Framework Unit Test Framework HTML GUI Test Framework

Projektseite: http://www.dbunit.org/ http://sourceforge.net/projects/

dbfit/ http://seleniumhq.org

Text

Text

Text

Text

Text

(Quellenangabe:)

Text

http://www.hp.com/go/qualitycenter

http://www.hp.com/go/qualitycenter

http://www.quest.com/toad/

http://www.dbunit.org/

http://sourceforge.net/projects/dbfit/

http://sourceforge.net/projects/dbfit/

http://seleniumhq.org/



HP Quality Center

Testing Frameworks

Testmanagementwerkzeug

3 Kernbereiche

– Requirements Management (= Spezifikation)

– Test Management

– Defects Backlog

Defects Testfälle Requirements

Alle Dokumente unter Versionierung

Eigene Testauswertungs-Engine

– Testergebnisse

– Testabdeckung

Testautomatisierung

– HP QuickTest Professional

– Aufruf externer Testanwendung via Visual Basic Script

Text

Text

Text

Text

Text

(Quellenangabe:)

Text



Quest Software / Dell Toad

Testing Frameworks

Integrated Development Environment for SQL

Zunächst Toad for Oracle

Oracle, IBM DB2, MS SQL Server, MySQL, …

Testen (Versionsabhängig)

– Debugging von SQL-Anweisungen

– Testdatengenerierung (produktiv, zufällig)

– Unit Tests

– Data Diff Tests

– Vergleich von Schemata

– Performance Tests

Text

Text

Text

Text

Text

(Quellenangabe:)

Text



DBUnit

Testing Frameworks

Basis JUnit (Java/Eclipse)

Verbindung zu Datenbanken via JDBC-Treiber

Datenbank-Credantials in Plain-Text (!)

Keine Testdatengenerierung

Definition von Testdaten in DataSets (Datenbank oder XML)

– Eingabedaten

– Erwartungswerte

Definition von Datenbankausgangszustand

SQL-Abfragen im String-Format

Unit Tests

Data Diff Tests

Keine Stored Procedures

– SQLUnit

– http://sqlunit.sourceforge.net/

Text

Text

Text

Text

Text

(Quellenangabe:)

Text



FitNesse mit DbFit

Testing Frameworks

FitNesse

– Wiki-basiertes Acceptance Test Framework

• Spezifikation Testfälle

• Testauswertung

DbFit

– Oracle, SQL Server, MySQL, DB2, PostgreSQL

– Verschlüsselung der Datenbank-Credantials möglich

– Testdaten manuell anlegen (Excel) oder aus Datenbank lesen

– Unit Tests, Data Diff Tests, Performance Tests

– Testen von SQL-Abfragen

– Testen von Stored Procedures

– Transaktionsmanagement um Datenbankmodifikationen zurückzusetzen

Blog-Eintrag von Chris Grenz “BI Tools – Testing with DBFit” (2012)

Text

Text

Text

Text

Text

(Quellenangabe:)

Text



FitNesse mit DbFit

Testing Frameworks Text

Text

Text

Text

Text

(Quellenangabe:)

Text

(Bildquelle 1:

http://benilovj.github.io/dbfit/docs/writin

g-tests.html#data-diff-test

Bildquelle 2:

http://sourceforge.net/p/dbfit/screensho

t/115536.jpg)



Selenium

Testing Frameworks

HTML GUI Test Framework

Firefox, IE, Chrome, Opera, Safari

Testfälle aufzeichnen und automatisiert

abspielen (direkt im Web Browser)

Selenium RC

– Java

– .NET

– Python, Perl, PHP

Web-Frontends

– Dashboards

– Berichte

Usability stark von der Qualität des HTML-Codes

abhängig (!)

– HTML vs. gutes HTML

– Verantwortung Werkzeughersteller

Text

Text

Text

Text

Text

(Quellenangabe:)

Text



Sollten Sie

– weiteres Interesse am Thema „BI Testing“,

– oben genannter Problemstellung bereits begegnet und diese gelöst oder

– Interesse an einem Wissens- und Erfahrungsaustausch zum Thema haben,

zögern Sie bitte nicht einen der Referenten zu kontaktieren.

(E-Mail: [email protected])

Hinweis in eigener Sache

BI Testing Text

Text

Text

Text

Text

(Quellenangabe:)

Text

Wie ist der Forschungsstand bezüglich Testautomaten, die ohne

großen Aufwand bei der Implementierung mit erstellt werden können?

Aktuell ist es meistens so:

- Anforderungsanalyse: Testfälle definieren

- Implementierung: Testfälle schreiben

- Abnahme: Anhand der Testfälle

Dies sind alles manuelle Tätigkeiten.

Im DWH-Umfeld wird viel mit SQL gearbeitet. Schön wäre es, hierzu

Testautomaten zu bekommen, ähnlich wie in der Java/Eclipse Welt.

“

„ (Kommentar eines Teilnehmers, Online-Umfrage „BI Testing“, 2013, ID 92)

mailto:[email protected]





Fragen & Diskussion 3.

Text

Text

Text

Text

Text

(Quellenangabe:)

Text



Referenten

Kontaktinformationen Text

Text

Text

Text

Text

(Quellenangabe:)

Text

Dipl.-Inf. Robert Krawatzeck

Reichenhainer Straße 70, Raum D316B

D-09126 Chemnitz

Telefon: +49 (371) 531-39428

E-Mail: [email protected]

Prof. Dr. Peter Gluchowski

Thüringer Weg 7, Raum 225

D-09126 Chemnitz

Telefon: +49 (371) 531-35575

E-Mail: [email protected]







Date post:	05-Jun-2018
Category:	Documents
Upload:	phungthu
View:	216 times
Download:	0 times

Text BI Testing: Status Quo und Herausforderungen Text€¦ · Operative Vorsysteme...

Documents