Wir testen mobile Apps und Webseiten. Wir nennen das Crowdtesting.

Crowdsourced Mobile Testing – Alternative oder Ergänzung? mdays, Frankfurt

05. Februar 2013

Philipp Benkler

Geschäftsführer

+49 89 416 1736-00

p.benkler@testbirds.de

2

Was ist das Problem? Testing ist eine Schwachstelle in vielen Unternehmen.

Nur 1/3 der Unternehmen testet derzeit mobile

Anwendungen systematisch*

IT-Verantwortliche in Deutschland beklagen*

Mangel an richtigen Werkzeugen (67%)

nicht verfügbare mobile Endgeräte (60%)

zu wenig Testexperten (40%)

Gerade im mobilen Umfeld fehlt die Erfahrung

Der eigenen Entwicklung fehlt oftmals die Distanz

Endgerätevielfalt erschwert das Testing

Quelle: http://www.spiegel.de * Quelle: World Quality Report 2012: 1.553 IT-Verantwortliche in 25 Ländern wurden befragt

http://www.sogeti.com/upload/Curious%20about%20us/Documents/WQR_2012-13_OK1.pdf

Es besteht das Bedürfnis nach einer

umfassenden Testing Lösung

3

Was ist Crowdtesting? Begrifflichkeiten.

„Crowdsourcing bzw. Schwarmauslagerung bezeichnet im Gegensatz

zum Outsourcing nicht die Auslagerung von Unternehmensaufgaben

an Drittunternehmen, sondern die Auslagerung auf die Intelligenz

und die Arbeitskraft einer Menge von Freizeitarbeitern im Internet“

(wikipedia.de).

Crowdsourcing

„Crowdtesting bezeichnet das Testen von Software durch eine

Masse von Freizeittestern über das Internet.“ (wikipedia.de).

Crowdtesting

4

Wie funktioniert Crowdtesting? Ein Schaubild.

Kunde

entwickelt App

oder Webseite

Testbirds

Projektmanager

Tester

mit Geräten

Plattform

mit Testberichten

testen

wertet aus

kann einsehen

Mobile Apps

& Games Webseiten

Social Media Apps

PC-Anwendungen

& Games

1 2

3 4

5 6

5

Wer oder was ist die Crowd? Endanwender und Experten testen mit eigenen Geräten.

Sämtliche Kombinationen aus Geräten, Browsern und Betriebssystemen

Mobile: iOS (4, 5, 6), Android, Windows Phone (8), Blackberry OS

Desktop: Windows, Mac OS, Linux, FF, IE, Safari, Chrome, Opera Facebook Apps, Rich Client-Anwendungen u.v.m.

Geräte nicht im Lab, sondern unter reale Bedingungen: Zu Hause, U-Bahn, beim Einkaufen, …

Endgeräte u. Systeme

Experten verschiedener Softwaresysteme (ERP,

CRM, SCM, BI, Onlineshop Administratoren u.v.m.)

Zertifizierte Tester (z.B. ISTQB, CAT, Testmanager,

Projektmanager)

Experten

Ausführliche Profile zur Auswahl spezifischer

Fokusgruppen und Panels

Individuelle Panels: 35 Auswahlkriterien

Unterschiedliche Testing-Erfahrung

Studenten, Mütter, Führungskräfte

Endanwender / „Freizeittester“

6

IT & QA Design & UI Produktmanagement

Bug Testing

Strukturiertes

Bug Testing

(via Testfälle)

Exploratives

Bug Testing

(via Use cases)

Usability

Testing

Prototypen-

Test

Beta-Test

Produkt-

Rundumtest

Wettbewerbs-

analyse

Exploratives

Testing

Bug Testing

Usability

Testing

Für was kann Crowdtesting eingesetzt werden? Das Dienstleistungsportfolio.

7

Was kann mit Crowdtesting erreicht werden? Zwei Fall-Beispiele für einen erfolgreichen Einsatz.

Tester

20 Personen

Profil: 50 % weiblich,

50 % männlich, ab 25 Jahren,

Großstadt, Smartphone

Hotelbuchungssoftware –

Evaluation von drei Prototypen für

die Kalenderfunktion

Geräte

Apple iPhone 2G, 3G(S), 4(S) mit iOS-

Version 4.x, 5.0, 5.1 und Beta 6

Testdauer 5 Tage

Ergebnisse

Management Summary

20 ausführliche Testberichte, die ein

breites Usability-Feedback sowie

einen Favoriten der Prototypen

aufzeigen

50 Tester zwischen 18 und 43 Jahren

Entscheidungsträger (Manager,

Juristen etc.)

Mischung aus Zielgruppe und Test-

Experten

Allianz Mobile Services Plattform

18 iPhones: 3GS, 4, 4S, 5

27 Androids: Samsung, HTC, LG,…

5 Blackberry

5 Tage

20 ausführliche Testberichte

Zahlreiche, teilweise kritische Bugs

Abschlussbericht inkl. Konkreter

Usability Handlungsempfehlungen

8

Was ist so toll an Crowdtesting? Die Vorteile.

Plattform Crowd Projekt-

Manager

Expertise/

Beratung

Prozesse

Einzigartige

Abwicklungs-

plattform

ermöglicht

flexibles Testing

Heterogene

Crowd aus

Tausenden von

Nutzern

Erfahrene

Projektmanager

betreuen jedes

Projekt

Spezialisten für

Endnutzer-

basiertes Testing

Schnelle, flexible

Abwicklungs-

prozesse

9

Was kann Crowdtesting nicht? (Un)lösbare Probleme?

Fehlende Qualifizierung

Objektivität der Ergebnisse

Testing(prozesse) ersetzen

Sicherstellung Einstiegstest und

Erfahrungspunkte-System

Externer Zugriff / Vertraulichkeit

Usability Labore ersetzen

Einbettung von Crowdtesting in

Entwicklungsprozess

Testprojektmanagement unabdingbar

Reale Testumgebung (zu Hause, unterwegs…)

Honorierung von Feedback (auch negativ)

Zweistufige NDAs

„On-Demand“ SSH/VPN-Verbindung

Probleme

Mythen

Crowdtesting ist ein weiterer Baustein

Crowdtesting liefert neue Ergebnisse

10

Wie hilft Crowdtesting? Unterstützung entlang des Entwicklungsprozesses.

Analyse &

Definition

Entwurf

Implementation

Test

Betrieb & Wartung

Analyse von Wettbewerbsprodukten

Marktanalysen / Anwendereinschätzung

(Funktionaler) Test des finalen Produkts

Explorativer Rundumschlag

Test von Design Prototypen

Vergleich verschiedener Prototypen

Iterative Modultests

Funktionale Tests

End-to-end Testing (Check-Outs usw.)

Vorbereitung von Release-Updates

Phase Testarten

11

Wie lautet das Fazit? Crowdtesting wird benötigt für erfolgreiche Produkte.

… ist Alternative und Ergänzung zugleich.

… ist eine norme Form von Usability und QA Tests.

… liefert wertvolle, neutrale und kritische Einblicke

zu Applikationen und findet Fehler.

… kann zu allen Phasen der Entwicklung eingesetzt

werden.

… bereichert die UI/UX durch neue Usability

Szenarien.

1

2

3

4

5

Crowdtesting…

12

Die letzte Slide.

Alternative und Ergänzung!

Philipp Benkler

Geschäftsführer

p.benkler@testbirds.de

+49 89 416 1736-00

+49 151 40 44 22 25

Testbirds, bekannt aus

Kunden die auf Testbirds vertrauen

Testbirds GmbH

Guerickestraße 25

80805 München

www.testbirds.de