Usability Testing in der Technischen Dokumentation

Prof. Rolf Schwermer

Dipl.-Red. (FH) Ralf Geyer

Inhalt

Ziel dieser Selbstlerneinheit 3

Einleitung 3

Methoden und Möglichkeiten 3 Daten aus Marketing/Kundendienst/Hotline 4 Anwenderbefragung 4 Beobachtungen in konkreter Anwendungssituation 4 Expertengutachten und Usability Test 5

Expertengutachten 5 Grundlagen 5 Analysekriterien 7 Ein Gutachten erstellen 11 Ergebnisse 11

Usability Testing (Anwendertest) 13 Aufgaben des Usability Testings 13 Grundlagen 14 Anleitungstypen identifizieren 16 Durchführung 16 Fünf Dokumente 20 Grundsätzlicher Ablauf 22 Ergebnisse auswerten 22

Der Wert von Evaluation oder Was hat ein Unternehmen davon? 24 Dokumentation als Mehrwert für das Produkt 24 Sicherheit gegenüber Regressansprüchen 25

Literaturverzeichnis 26

Selbstkontrolle 27 Fragen 27 Musterlösungen 29

Ziel dieser Selbstlerneinheit

Es gibt verschiede Methoden, um Technische Dokumentation auf Tauglichkeit zu überprüfen und zu verbessern. Einige davon lernen Sie in dieser Selbstlerneinheit kennen. Schwerpunkt dabei sind die beiden Evaluationsverfahren „Expertengutachten“ sowie „Usability Testing“, die beide in Kombination in den vergangenen Jahren bereits mehrfach von der tekom (www.tekom.de) unter anderem in Zusammenarbeit mit der Stiftung Warentest eingesetzt wurden.

Im Anschluss der Selbstlerneinheit finden Sie einige Fragen zur Selbstkontrolle.

Einleitung

Als Evaluation von Technischer Dokumentation wird allgemein die Bewertung und Verbesserung von Technischer Dokumentation verstanden, d. h. eine Evaluation überprüft die Qualität der untersuchten Technischen Dokumentation und ermittelt im gleichen Zug konkrete Hinweise für eine Optimierung der Dokumentation.

Technische Dokumentation sei hier definiert als die bei einem Gerät oder einer Maschine mitgelieferten Technischen Dokumente. Dies sind die nach DIN EN ISO 12100-1 und DIN EN ISO 12100-2, DIN EN 62079 und VDI 4500 definierten Benutzerinformationen wie Bedienungs- und Betriebsanleitungen, Gebrauchsanleitungen und alle Unterlagen, die zum Betrieb eines Gerätes oder einer Maschine notwendig sind. In diesem Artikel wird auf Methoden der Evaluation, also auf Methoden der Bewertung und Verbesserung von Bedienungs-, Betriebs- und Gebrauchsanleitungen eingegangen.

Wenn im folgenden von Gebrauchsanleitungen die Rede ist, so werden sie stellvertretend für verschiedene Typen Technischer Dokumentation wie z. B. Betriebsanleitungen, Bedienungsanlei-tungen usw. genannt. Der Terminus „Gerät“ steht für technische Gebrauchsgüter, aber auch für Maschinen. Aussagen über die Technische Dokumentation von Geräten gelten sinngemäß auch für Dokumentation von Anlagen oder von Software.

Methoden und Möglichkeiten

Um Technische Dokumentationen bewerten und ggf. verbessern zu können, ist der Technische Redakteur auf eine große Anzahl von Informationen angewiesen, auf deren Basis er Technische Dokumentationen bewerten kann. Diese Informationen können über eine Vielzahl von verschiedenen Möglichkeiten beschafft werden. Im Folgenden werden fünf gängige Methoden vorgestellt:

• Daten aus dem Marketing und / oder Kundendienst

• Anwenderbefragung

• Beobachtungen in konkreter Anwendungssituation

• Gutachten

• Usability Testing (Anwendertest)

Diese Methoden unterscheiden sich, bezogen auf den möglichen Anwendungszeitraum, durch ein wesentliches Merkmal:

3

Die ersten drei Methoden können erst nach der Auslieferung der Dokumentation an den Kunden die gewünschten Informationen liefern, die beiden letzten Methoden dagegen lassen eine Evaluation vor diesem Zeitpunkt zu.

Daten aus Marketing/Kundendienst/Hotline

Die Abteilungen Marketing, Kundendienst und Hotline (sofern vorhanden) sind meistens die Bereiche eines Unternehmens, die den intensivsten Kontakt zum Kunden haben. Über diesen engen Kundenkontakt erhält das Unternehmen Informationen über die Zufriedenheit des Kunden, seine Probleme (mit dem Produkt) und seine Wünsche. Aus diesem Kontext können auch Informationen über die produktbegleitenden Benutzerinformationen wie Gebrauchs- oder Betriebsanleitung beschafft werden: Liegt der große Anteil von Reparaturen während der Garantiezeit an einer Fehlbedienung des Gerätes? Treten bestimmte Fragen zur Handhabung eines Geräts gehäuft auf? Greifen die Käufer zu Produkten anderer Hersteller, weil diese für sie einfacher zu bedienen sind? Diese Probleme können ihre Ursachen in schlechten oder gar mangelhaften Benutzerinformationen haben.

Anwenderbefragung

Da die Gebrauchs- oder Betriebsanleitung schließlich für den Anwender geschrieben worden ist, ist seine Meinung über die Dokumentation als besonders wertvoll einzustufen. Ein Meinungsbild der Anwender kann durch Fragebögen oder mit Hilfe von Antwortpostkarten ermittelt werden, die man den Dokumentationen beilegt. Neben der Möglichkeit, einige Fragen im Ankreuzverfahren zu beantworten, sollte dem Anwender auch die Möglichkeit gegeben werden, Kritik und Verbesserungsvorschläge frei zu formulieren. Der Anwender kann seine Antwort portofrei zurückschicken.

Diese Methode ist relativ kostengünstig zu realisieren und liefert stichhaltige Information über die Anwenderfreundlichkeit der Dokumentation, selbst wenn die Rückläuferquote relativ gering ist.

Beobachtungen in konkreter Anwendungssituation

Viele große Unternehmen sind in den letzten Jahren dazu übergegangen, Entwicklungsserien von Geräten vor Abschluss der Entwicklung einem so genannten Feldtest oder Pre-Test (auch andere Bezeichnungen sind üblich) zu unterziehen. Dabei werden einzelne Geräte im Endstadium der Entwicklung kostenfrei beim Endanwender montiert bzw. dem Endanwender zur Verfügung gestellt. Diese Gelegenheit kann der Technische Redakteur nutzen, um direkt vor Ort durch Beobachten wichtige Informationen über den Grad der Hilfestellung zu sammeln, die der Anwender durch die Benutzerdokumentation erhält.

Vorteile:

• Die gesammelten Daten sind recht authentisch, da sie nicht einer künstlichen Situation entstammen (wie z. B. beim Usability Test, s. u.).

• Die Beobachtung der Endanwender lässt sich kostengünstiger verwirklichen als ein teures Usability Testing.

4

Nachteile:

• Die Beobachtungen können erst gemacht werden, wenn das Produkt eine gewisse Serienreife hat. Dies kann unter Umständen bei verbesserungswürdiger Dokumentation nicht besonders förderlich für die Reputation des Herstellers sein.

• Bei Massenprodukten, wie z. B. in der Unterhaltungselektronik, ist dieses Verfahren kaum anwendbar, da die Entwicklungszyklen viel zu kurz sind.

• Da oft zum Zeitpunkt der Markteinführung bereits große Mengen an Geräten und Dokumentationen vorrätig sind, können große Veränderungen und Verbesserungen in der Dokumentation möglicherweise erst bei einer späteren Produktversion wirksam werden.

Expertengutachten und Usability Test

Auf diese beiden Evaluationsverfahren wird in den nachfolgenden Kapiteln näher eingegangen.

Expertengutachten

Gutachten über Technische Dokumentationen werden meistens von unabhängigen Experten erstellt. Gegenstand dieser Gutachten sind Gebrauchs- oder Betriebsanleitungen, die auf „Herz und Nieren“ überprüft werden. Dabei steht weniger die Beurteilung der Dokumentation aus Anwendersicht im Vordergrund als die gezielte Ausleuchtung von Schwachstellen aus dokumentationstechnischer Sicht. Neben der Überprüfung der sachlichen Richtigkeit und Vollständigkeit der dargebotenen Informationen wird besonderes Augenmerk auf die innere wie äußere Gliederung der Anleitung, die verwendeten Sprachmittel und Fachwörter sowie auf die Normenkonformität und die richtige Platzierung und Formulierung der Sicherheitshinweise gelegt.

Ein solches Gutachten ist in seinem Umfang äußerst variabel. Meistens wird zwischen einem Kurzgutachten und einem ausführlichen Expertengutachten unterschieden. Ein Kurzgutachten beschränkt sich dabei auf die wesentlichen Punkte und übersteigt selten einen Umfang von 3-4 DIN A4-Seiten. Oft ist ein solches Kurzgutachten die Grundlage für die Angebotserstellung durch ein Dienstleistungsunternehmen.

Ein ausführliches Expertengutachten hingegen ist in der Regel selbst Gegenstand eines Auftrages und kann sehr zeit- und damit auch sehr kostenintensiv werden. Dem Umfang eines solchen Gutachtens sind nach oben hin kaum Grenzen gesetzt, nicht selten haben sie einen Auftragswert von mehreren Tausend Euro.

Ein Gutachten kann bei der Lösung zweier Aufgaben behilflich sein:

1. Eine bestehende Dokumentation soll unter qualitativen Gesichtspunkten bewertet werden.

2. Eine bestehende Dokumentation soll gezielt verbessert werden.

Grundlagen

Auf welchen Grundlagen basiert ein Gutachten und unter welchen Kriterien soll eine Technische Dokumentation untersucht werden? Im Grunde steht es jedem frei, nach welchen Gesichtspunkten er ein Dokument untersucht. Geht man aber von dieser Prämisse aus, dann führt der eingeschlagene Weg in ein vorprogrammiertes Durcheinander, das eine einheitliche Bewertung oder gar einen Vergleich zwischen verschiedenen Dokumenten unmöglich macht. Um

5

diesen Missstand zu beheben, sind in den letzten Jahren von verschiedenen Institutionen Richtlinien und Leitfäden entwickelt worden, die für den bundesdeutschen Raum eine Art Standard darstellen.

Einschlägige Normen und Gesetze wie z. B. die EG-Richtlinie „Maschinen“ geben bereits Auskunft darüber, welche minimalen Anforderungen eine Gebrauchs- oder Betriebsanleitung inhaltlich, strukturell und von der Form her erfüllen muss. Im Zusammenhang der Evaluation von Technischer Dokumentation soll hier auf zwei spezielle Richtlinien hingewiesen werden, die umfassende „Checklisten“ für die Analyse einer Gebrauchs- oder Betriebsanleitung zur Verfügung stellen. Eine strikte Einhaltung dieser Checklisten bezüglich ihrer Reihenfolge, ihres Inhaltes und ihrer Ausgestaltung ist nicht zwingend erforderlich. Sie stellen aber eine gute Grundlage dar, auf der Analysen aufsetzen und damit einen gewissen Mindeststandard gewährleisten können.

tekom-Richtlinie „Technische Dokumentation beurteilen“

Die tekom – Gesellschaft für technische Kommunikation e.V. mit Sitz in Stuttgart hat im Jahre 1991 eine Richtlinie mit dem Titel „Technische Dokumentation beurteilen“ veröffentlicht. Diese Richtlinie „soll dazu beitragen, die Qualität Technischer Dokumentation in Deutschland zu erhöhen.“ Sie gibt Fachleuten im Bereich Technische Dokumentation Hilfsmittel an die Hand, um eine Technische Dokumentation hinsichtlich Sprache, Struktur und Gestaltung zu untersuchen.

Hinweis: Diese Richtlinie wird derzeit (Stand 2005) überarbeitet und ist möglicherweise nicht erhältlich.

VDI 4500

Der Verein Deutscher Ingenieure (VDI) hat Ende 1994 die Richtlinie VDI 4500 „Technische Dokumentation. Benutzerinformation“ verabschiedet. Diese Richtlinie möchte nicht nur Informationen zur Bewertung von Technischer Dokumentation weitergeben, sondern ist ein umfassender Ratgeber für die Erstellung von „Benutzerinformationen“ . Neben den Kapiteln über die eigentliche Erstellung beinhaltet die Richtlinie z. B. Kapitel über die organisatorischen Voraussetzungen und den betriebswirtschaftlichen Aspekt der Technischen Dokumentation.

DIN EN 62079

Seit November 2001 ist die Dokumentationsnorm „DIN EN 62079 - Erstellen von Anleitungen Gliederung, Inhalt und Darstellung“ in Kraft. Sie beschreibt die Anforderungen der EU-Maschinenrichtlinie 98/37/EU und weitet gleichzeitig den Stand der Technik des Anlagen- und Maschinenbaus auf alle Produkte und Dienstleistungen aus. Qualitative und quantitative Mindeststandards setzt die Norm in den Bereichen:

• Medien von Anleitungen

• kommunikative Prinzipien/Verständlichkeit von Anleitungen

• Inhalt und Struktur von Anleitungen (Anhang D)

• Aussehen und Gestaltung von Anleitungen

• Sprache von Anleitungen

6

Analysekriterien

Beim Erstellen der Unterlagen für ein Expertengutachten hat es sich bewährt, die zu analysierenden Dokumente nach folgenden Kriterien zu bewerten:

• Gliederung

• Aufbau

• Lesehilfen

• Text

• Sicherheitshinweise

• Abbildungen, Visualisierungen

• Gestaltung

• Normenkonformität

• Sachliche Richtigkeit, Vollständigkeit, Informationsangebot

Gliederung

Hier wird überprüft, ob eine innere und äußere Struktur der Anleitung erkennbar ist, ob der Text richtig und verständlich ist und wie Überschriften und Handlungsanweisungen formuliert sind.

Aufbau

Unter dem Kriterium „Aufbau“ wird der didaktische Aufbau der Gebrauchs- oder Betriebsanleitung untersucht. Wenn man einmal von Lernanleitungen absieht, die nach lernlogischen Gesichtspunkten aufgebaut werden, unterscheidet man zwischen:

• produktorientierten Aufbau Beschreibung der Funktionen und Bedienteile des Gerätes

• aufgabenorientierten Aufbau Beschreibung der Funktionen nach Tätigkeiten geordnet und formuliert („Was kann der Benutzer mit dem Gerät tun wollen?“)

Ein rein produktorientierter oder rein aufgabenorientierter Aufbau ist weder aus Anwender- noch aus Produktsicht sinnvoll und oft gar nicht möglich. Hier hat sich eine Kombination beider Aufbauarten als gute Lösung für Gebrauchs- und Betriebsanleitungen erwiesen.

7

Lesehilfen

Unter Lesehilfen versteht man im Bereich der Technischen Dokumentation sämtliche Hilfestellungen für den Leser, die ihm das Lesen und Verstehen des Textes und die Orientierung bzw. Navigation im Text erleichtern sollen.

Überprüft wird, ob Orientierungs- und Navigationshilfen überhaupt vorhanden sind und ob sie funktionieren. Dies können z. B. sein:

• Glossare, in denen verwendete Fach- und Fremdwörter erläutert werden oder auch

• Abkürzungsverzeichnisse, die noch einmal (zusätzlich zur Aufschlüsselung beim ersten Auftreten der Abkürzung) eine Aufschlüsselung der verwendeten Abkürzungen z. B. in Tabellenform beinhalten sollten.

• Inhaltsverzeichnis,

• Stichwortverzeichnis (Index),

• Tabellenverzeichnis,

• Abbildungsverzeichnis

• Literaturverzeichnis.

Weitere Orientierungshilfen sind Kolumnentitel, Randmarken und auch Verweise auf andere Textstellen.

Wichtig bei der Bewertung sollte sein, dass nicht nur auf das bloße Vorhandensein der Verzeichnisse, Glossare und Verweise geachtet wird, sondern dass das Hauptaugenmerk auf ihrer Vollständigkeit und Funktionalität liegen sollte. Gerade bei Verweisen ist es wichtig, dass sie exakt und ohne Umwege zur referenzierten Textstelle führen.

Text

Dem Text, meistens der Kern der Technischen Dokumentation, sollte große Aufmerksamkeit geschenkt werden. Er entscheidet über die Verständlichkeit der Gebrauchs- oder Betriebsanleitung und darüber, ob der Leser sich auch so verhält, wie es der Autor der Technischen Dokumentation vorgesehen hat.

Ein Text kann und sollte auf verschiedenen Ebenen untersucht werden:

• Rechtschreibung und Zeichensetzung (Orthographie/Interpunktion)

• Wortebene (Begriffswahl/Terminologie und grammatikalisch richtige Verwendung der Begriffe)

• Satzebene (syntaktische Korrektheit, Eindeutigkeit, keine Passivkonstruktionen, Unterscheidung zwischen beschreibenden Texten, Handlungsanweisungen und Sicherheitsinformationen)

8

Sicherheitshinweise

Wird eine Technische Dokumentation hinsichtlich ihrer Sicherheitshinweise untersucht, sollte auf drei wesentliche Punkte eingegangen werden:

1. Sind die Sicherheitshinweise vollständig? Stehen überall dort, wo Gefahren für den Anwender entstehen können, entsprechende Sicherheitshinweise? Wird nicht nur innerhalb des Anleitungstextes vor Gefahren gewarnt, sondern ist auch ein Kapitel „Allgemeine Sicherheitshinweise“ vorhanden? Wird die bestimmungsgemäße Verwendung definiert, für die das Gerät oder die Maschine gebaut worden ist? Wird vor voraussehbaren bestimmungswidrigen Verwendungen gewarnt?

2. Stehen die Sicherheitshinweise an der richtigen Stelle? Innerhalb eines Anleitungskapitels müssen Sicherheitshinweise vor den Handlungsanweisungen stehen. Allgemeingültige Sicherheitshinweise wie z. B. Hinweise zu Lärmemissionen einer Maschine müssen in einem Kapitel „Allgemeine Sicherheitshinweise“ am Anfang der Dokumentation stehen.

3. Sind die Sicherheitshinweise als solche zu erkennen? Sind sie durch ein Piktogramm, Signalwort und einen fetteren Schriftschnitt ausgezeichnet? Sind die Sicherheitshinweise eindeutig formuliert? Werden neben der Gefahrenquelle auch Möglichkeiten zur Gefahrenvermeidung und Konsequenzen bei Nichtbeachtung benannt?

Abbildungen, Visualisierungen

Abbildungen sollen den Text ergänzen oder manchmal auch vollständig ersetzen, wo eine rein sprachliche Beschreibung der Situation nicht ausreicht. Dies ist meistens dort erforderlich, wo z. B. die Position oder das Aussehen eines Geräteteils beschrieben werden soll. In solchen Situationen ist eine Abbildung des Gerätes oder des Geräteteils sinnvoller und eindeutiger.

Abbildungen können aber nur dann den an sie gestellten Anforderungen gerecht werden, wenn sie einige Voraussetzungen erfüllen:

• Die Art der Abbildung muss dazu geeignet sein, den Sachverhalt zu verdeutlichen. Oft ist eine Strichzeichnung einer detaillierten Fotografie vorzuziehen, ein Gerätedetail ist besser zu erkennen, wenn es besonders gekennzeichnet ist.

• Reicht die Anzahl der Abbildungen aus, sind zu wenige oder gar zu viele Abbildungen vorhanden?

• Befinden sich die Abbildungen an der richtigen Position und vereinfachen dadurch das Referenzieren zwischen Text und Abbildung? Ist dies nicht der Fall, dann ist eine eindeutige Text-Bild-Zuordnung schwierig.

• Wird eine detaillierte Abbildung, wie z. B. eine Geräteübersicht, durch eine Legende erläutert? Dies sorgt für eine schnellere Identifizierung der einzelnen Geräteteile und erspart dem Anwender das Blättern in der Betriebsanleitung.

Bei Visualisierungen, wie z. B. Diagrammen und Piktogrammen, muss darauf geachtet werden, dass sie erläutert werden müssen, wenn sie nicht als allgemein bekannt vorausgesetzt werden können. Weiterhin ist vor allem bei Piktogrammen darauf zu achten, dass sie zumindest dem in gängigen Normen definierten Standard entsprechen oder Eigenentwicklungen darstellen, die geeignet erscheinen, den Standard zu erfüllen.

9

Gestaltung

Unter dem Stichwort ‘Gestaltung’ wird die äußere und innere Aufmachung der Dokumentation beurteilt. Der Gestaltung kommen wesentliche Aufgaben im Bereich der Kommunikation mit dem Anwender zu, die Gestaltung der Dokumentation kann sie ins Positive steigern, aber genauso gut für Missmut beim Leser sorgen.

• Äußere Gestaltung (äußeres Erscheinungsbild) Art und Weise der Bindung, Format, Papierqualität, Gestaltung des Titelblatts (Herstellername, Gerätebezeichnung, Gerätetyp, ggf. Seriennummer, eine Abbildung des Gerätes und eine Bezeichnung der Dokumentart)

• Innere Gestaltung Typographie (Auswahl der Schriftart, Schriftfamilie und des Schriftschnittes) Layout (Anordnung des Textes zusammen mit Abbildungen auf einer Seite)

Normenkonformität

Bei der Herstellung eines Gerätes, einer Maschine oder eines anderen technischen Produktes ist der Hersteller aus strafrechtlichen und auch betriebswirtschaftlichen Gründen dazu gezwungen, einschlägige Gesetze, Normen und Richtlinien einzuhalten. Diese Vorschriften und Richtlinien enthalten nicht nur Hinweise zur Konstruktion und Entwicklung von Geräten und Maschinen, sondern teilweise auch Hinweise zur Erstellung einer Gebrauchs- oder Betriebsanleitung. Meistens werden nur Hinweise bezüglich des Inhaltes gegeben, manchmal auch zur Gestaltung.

Neben den einschlägigen Normen und Richtlinien wie z. B. die DIN EN 62079, DIN EN ISO 12100 oder VDI 4500 gelten im Einzelfall produktspezifische Normen wie z. B. die DIN EN 378 Teil 10 „Kälteanlagen und Wärmepumpen“.

Bei einer Überprüfung auf Normenkonformität muss nun untersucht werden, ob die speziell für das Produkt geltenden Normen und Richtlinien Hinweise zur Dokumentation geben und ob diese auch umgesetzt worden sind. Weiterhin muss die Konformität mit den Normen und Richtlinien, aber auch Gesetzen, überprüft werden, die sich ganz speziell mit Benutzerinformationen auseinandersetzen.

Sachliche Richtigkeit, Vollständigkeit, Informationsangebot

In dieser Kategorie verfolgt man bei der Analyse drei wesentliche Fragestellungen:

1. Sind die angebotenen Informationen sachlich richtig?

2. Sind die angebotenen Informationen vollständig? Erhält der Anwender alle notwendigen Informationen, um das Gerät richtig, sicher und umfassend nutzen zu können? Sind alle Funktionen des Gerätes beschrieben?

3. Ist das Informationsangebot ausreichend? Erhält der Anwender zu seinen (denkbar möglichen) Problemen und Fragen eine ausreichende und befriedigende Antwort? Oder wird er gar mit Informationen überhäuft?

10

Ein Gutachten erstellen

Hat man eine Technische Dokumentation vor sich liegen und soll diese begutachten, sollte man sich zunächst Gedanken über die Vorgehensweise machen. Neben einem Terminplan gehört die Zusammenstellung der Analysekriterien, nach denen man die Dokumentation untersuchen will, dazu. Zu Beginn ist es ratsam, sich noch einige Informationen vom Ersteller der Dokumentation zu besorgen, wie z. B. die anvisierte Zielgruppe.

Zunächst sollte man die Technische Dokumentation einmal komplett durchlesen und auf sich wirken lassen. Danach arbeitet man die zuvor festgelegten Analysekriterien nacheinander ab.

Mit dem Festlegen der Analysekriterien sollte man für ein einheitliches System sorgen, wie die in der Bedienungs- oder Betriebsanleitung gefundenen Schwachstellen dokumentiert werden sollen. Zu diesem Zweck haben sich Tabellen mit folgenden Angaben als sehr praktisch erwiesen:

• eine genaue Bezeichnung der Fundstelle,

• die Angabe der Seitenzahl,

• ein Kommentar zur Schwachstelle und

• ggf. ein Vorschlag, wie diese Schwachstelle behoben werden kann.

Ergebnisse

Die Ergebnisse der Dokumentanalyse werden dann im eigentlichen Gutachten dokumentiert. Zu den einzelnen Analysekriterien werden die gefundenen Schwachpunkte angegeben und auch begründet, warum diese als Schwachpunkte angesehen werden. Finden sich zu einem Analysepunkt viele Schwachstellen, sollte abschließend noch einmal zusammengefasst und die größten Schwächen noch einmal dargestellt werden.

Die detaillierte Beschreibung der Schwachstellen ist die Grundlage für Optimierungsvorschläge, die ganz gezielt zu den größten Schwächen gegeben werden sollten. Wenig hilfreich wäre es, wenn nur die Schwachstellen bemängelt würden und keine Angaben dazu gemacht würden, wie diese behoben werden können.

11

Das so nach und nach entstehende Gutachten sollte ein in sich geschlossenes Dokument darstellen, schließlich bezahlt der Auftraggeber meistens kein geringes Entgelt für ein solches Gutachten. Der Aufbau eines solchen Gutachtens könnte wie folgt aussehen:

1. Ein Titelblatt mit Angaben zum Dokument, Autor und Gegenstand der Analyse.

2. Ein Inhaltsverzeichnis mit allen im Dokument zu findenden Informationen.

3. Angaben zum Gegenstand der Analyse und zur Vorgehensweise.

4. Eine Darstellung der einzelnen Analysekriterien.

5. Eine Darstellung der Analyseergebnisse gestaffelt nach den unterschiedlichen Analysekriterien, ggf. mit Zusammenfassungen, Einzelstellungnahmen und Optimierungsvorschlägen.

6. Eine umfassende Stellungnahme zum analysierten Dokument.

7. Falls notwendig ein Anhang mit ausführlichen Optimierungsvorschlägen.

Idealerweise wird ein solches Gutachten im Rahmen einer Präsentation beim Auftraggeber übergeben. In dieser Präsentation sollte kurz auf die Vorgehensweise und die wichtigsten Ergebnisse eingegangen werden.

12

Usability Testing (Anwendertest)

In einem Usability Testing wird die „Praxistauglichkeit“ einer Gebrauchs- oder Betriebsanleitung untersucht werden. Während dieses Tests soll eine Testperson nur unter der Zuhilfenahme der Gebrauchs- oder Betriebsanleitung eine bestimmte Anzahl von Aufgaben mit einem Gerät in einer bestimmten Zeit lösen. Während der Testdauer hält ein Beobachter fest, in welchen Schritten die Testperson die Aufgaben löst und wie sie dabei die Gebrauchs- oder Betriebsanleitung einsetzt. Im Mittelpunkt des Interesses steht dabei einzig und allein die Dokumentation und wie sie bei der Aufgabenlösung hilft.

Art und Umfang eines solchen Usability Testings sind sehr unterschiedlich. Im einfachsten Falle sitzt die Testperson mit dem Gerät und der zu testenden Gebrauchsanleitung an einem Tisch, ein Beobachter sitzt neben ihr und notiert in Stichworten die Vorgehensweise der Testperson.

Als Gegenpol existieren richtige „Laboratorien“, in denen die Testperson vollkommen abgeschirmt in einem einzelnen Raum sitzt und den Beobachtern jegliche Technik zur Verfügung steht, ihre Beobachtungen zu dokumentieren.

Aufgaben des Usability Testings

Ein Gutachten liefert eine große Zahl von Informationen über die Qualität einer Technischen Dokumentation. Diese Informationen sagen aber nur etwas über die Dokumentationsqualität aus Expertensicht aus. Genaue Aussagen über die „Praxistauglichkeit“, d. h. in welcher Weise ein Benutzer mit der Dokumentation und dem Gerät zurecht kommt, liefert ein solches Gutachten nur ungenügend. Die Frage nach dem Praxisnutzen oder der Praxistauglichkeit kann nur ein Praxistest ausreichend beantworten.

Ein solcher „Usability Test“, auch Anwendertest oder Praxistest genannt, stellt eine gute Ergänzung zum Gutachten dar, da sich die Ergebnisse oft ergänzen und gegenseitig stützen. Damit entsteht ein abgeschlossenes und umfassendes „Qualitätsbild“ über eine Bedienungs- oder Betriebsanleitung.

Ein Usability Test ist unabhängig von der Markteinführung des Produktes und findet idealerweise vor diesem Zeitpunkt statt. Er kann als eine Art „Generalprobe“ für den „Marktauftritt“ des Produktes angesehen werden, nur mit dem Unterschied, dass eine misslungene „Generalprobe“ nicht wie in der Theaterwelt ein gutes Omen darstellt. Ein Usability Testing gibt dem Hersteller vielmehr die Möglichkeit, die Anleitung zu verbessern, bevor sie sich als unbrauchbar für den Anwender erweist.

13

Grundlagen

Bei der Gestaltung eines Praxistests hat man ähnlich viele Freiheitsgrade wie bei der Gestaltung eines Gutachtens, abhängig vom finanziellen, zeitlichen und personellen Rahmen sind verschiedene Ausgestaltungen möglich. Zunächst sollte geklärt werden, in welcher Art und Weise der eigentliche Test ablaufen soll. Dementsprechend gestaltet sich dann der Aufwand für die Vor- und Nachbereitung.

Eine einfache Form des Praxistests kann mit geringem Aufwand realisiert werden: Eine Testperson sitzt mit dem Gerät und der Gebrauchsanleitung an einem Tisch in einem ruhigen Raum. Während die Testperson versucht, eine oder mehrere vorgegebene Aufgaben mit dem Gerät und der Hilfe der Gebrauchsanleitung zu lösen, wird sie von einer weiteren Person beobachtet, die sich entsprechend ihrer Beobachtungen Notizen macht.

Abbildung 1: Praxistest von Gebrauchsanleitungen für Videorecorder

Diese Form des Praxistests lässt sich weiter verbessern und verfeinern: Unterstützend zu den Notizen des Beobachters können Video- oder Tonbandaufzeichnungen gemacht werden. Statt einem können auch mehrere Beobachter am Test teilnehmen, häufigere Wiederholungen des Tests mit verschiedenen Testpersonen sorgen für eine breitere Informationsbasis. Allerdings besitzt diese Art des Usability Tests ein großes Manko: Die Testperson wird unweigerlich einer Prüfungssituation ausgesetzt, die einen großen Stressfaktor darstellen und somit die Testergebnisse verfälschen kann. Es ist verständlich, dass es für Unbehagen sorgt, wenn man bei seinen Aktionen so eingehend beobachtet wird und die Beobachter der Testperson förmlich „im Nacken sitzen“.

14

Um dieses Manko zu beseitigen, wurden im Laufe der Jahre spezielle Testlabors entwickelt, in denen ein Usability Test effizient durchgeführt werden kann. Meistens bestehen diese Labors aus getrennten Test- und Beobachtungsräumen, womit gewährleistet ist, dass die Testperson allein und ungestört ihre Aufgaben lösen kann. Die Räumlichkeiten sind gezielt für die Testsituation geplant und gestaltet, so dass die Testsituation möglichst wenig von den Örtlichkeiten beeinflusst werden.

Abbildung 2: Usability-Test-Labor

Dem geschulten Personal dieser Laboratorien stehen eine Fülle von Beobachtungsmöglichkeiten zur Verfügung, die die Testergebnisse sehr genau dokumentieren. Es braucht wohl nicht besonders erwähnt zu werden, dass diese Form des Usability Testings mitunter sehr kostenintensiv ist. Den hohen Kosten stehen aber auch einige Vorteile gegenüber:

• Die Mitarbeiter dieser Institutionen sind sehr erfahren und wissen, worauf es ankommt.

• Der komplette Test, von den Vorbereitungen über den Test bis hin zur Auswertung, liegt in einer Hand.

• Die Ergebnisse eines solchen Tests sind oft genauer, da bessere Räumlichkeiten und Dokumentationstechniken vorhanden sind und auch die Gruppe der Testpersonen sorgfältiger ausgewählt werden kann.

Im weiteren Verlauf dieser Darstellungen soll der Aufbau und Ablauf eines Praxistests der einfacheren Form beschrieben werden, da dieser wohl am häufigsten in der Praxis zu finden ist.

15

Anleitungstypen identifizieren

Um festzulegen, welche Arten von Anleitungen getestet werden können, muss man vorher analysieren, um welchen Anleitungstyp es sich handelt:

• Sofortanleitung Liefert kurze, knapp gehaltene und präzise Handlungsanweisungen, um eine oder mehrere Aktionen unmittelbar, ohne Vorwissen und ohne Hintergrundwissen ausführen zu können. Beispiele: Anleitung auf einem Feuerlöscher, Aufbauanleitung für einen Wohnzimmerschrank, Bedienungsanleitung für einen Parkscheinautomat.

• Nachschlageanleitung Liefert schnell auffindbar Informationen, die man selten benötigt und die nach „Gebrauch“ wieder vergessen werden können. Beispiele: Ersatzteilkatalog, Trouble-Shooting-Liste, Syntaxverzeichnis einer Programmiersprache

• Lernanleitung Enthält möglichst anschaulich erklärt Hintergrundinformationen über ein Produkt, beschreibt schrittweise die Zusammenhänge, so dass es möglich ist, auch andere, ähnlich strukturierte Sachverhalte durch Adaptieren zu verstehen und das Produkt auch ohne Anleitung zu beherrschen. Beispiele: Grundlagen einer Programmiersprache, Einführung in eine Software

Aufgrund des unterschiedlichen Lernverhaltens von Menschen ist es schwierig wenn nicht sogar unmöglich, das hier vorgestellte Testverfahren auf Lernanleitungen oder auf Teile von Anleitungen mit Lerncharakter anzuwenden. Für Sofortanleitungen und Nachschlageanleitungen lässt sich der Praxistest jedoch hervorragend einsetzen. Dies sollten Sie bei der Auswahl von Aufgaben (siehe späterer Abschnitt) berücksichtigen.

Durchführung

Möchte man einen Praxistest einer Bedienungs- oder Betriebsanleitung durchführen, erfordert dies einiges an Vorarbeit.

Terminplan

Zunächst ist wie bei allen Projekten ein möglichst genauer Terminplan wichtig. Bei den heutigen kurzen Zeiträumen zwischen Entwicklung, Produktion und Auslieferung von Produkten ist es oft schon schwer genug, den Terminplan für die Erstellung der Dokumentation einzuhalten. Um so schwieriger wird es dann noch sein, die fertig gestellte Dokumentation einigen Testläufen zu unterziehen. Bei der zeitlichen Planung eines Usability Testings sollte man sich darüber im klaren sein, dass die Vorbereitung und Ergebnisauswertung meistens mehr Zeit in Anspruch nehmen als der Test selber.

16

Räumlichkeiten

Die Wahl der Räumlichkeiten hängt einerseits von den gegebenen Möglichkeiten ab, andererseits sollte man aber auch den zukünftigen Einsatzort des Produktes berücksichtigen.

Handelt es sich bei dem beschriebenen Produkt um ein relativ kleines und transportables, dann sollte es sich um einen geräumigen, hellen Raum in ruhiger Lage handeln, der auch einmal für mehrere Tage belegt werden kann.

Die Testperson sollte die Möglichkeit haben, alleine an einem Tisch zu sitzen. Der oder die Beobachter sollten sich so positionieren, dass sie das Vorgehen der Testperson gut überblicken können und ggf. auch eine evtl. vorhandene Anzeige am Gerät einsehen können.

Handelt es sich bei dem beschriebenen Produkt um eine Werkzeug- oder Fertigungsmaschine, dann sollte man diese mit Betriebsanleitung auch in der Werkstatt testen. Dort sind voraussichtlich die Bedingungen zu finden, unter denen die Maschine auch später eingesetzt wird.

Testpersonen

Bei der Auswahl der Testpersonen sollte nach folgenden Kriterien vorgegangen werden:

• Die Zielgruppe für das Produkt sollte so genau wie möglich bekannt sein.

• Die ausgewählten Testpersonen sollten repräsentativ für diese Zielgruppe stehen.

• Bei Produkten mit großen Zielgruppen, wie Unterhaltungselektronik, sollte darauf geachtet werden, dass die Testpersonen möglichst allen angesprochenen Personengruppen entstammen (z. B. junge Leute genauso wie Rentner).

• Aus zeitlichen und finanziellen Gründen werden die Testpersonen manchmal aus der eigenen Firma rekrutiert. Dabei sollte man bedenken, dass dies die Testergebnisse verfälschen kann, da evtl. eingehende Kenntnisse über das Produkt oder ähnliche Produkte vorhanden sind.

• Bereits bei der Auswahl sollte man potentielle Testpersonen darüber aufklären, dass nicht sie selbst und ihre Fähigkeiten getestet werden sollen, sondern einzig und allein die Eignung der Gebrauchsanleitung. Diese Aufklärung ist wichtig, um möglichem „Prüfungsstress“ bei den Testpersonen vorzubeugen.

Bevor der Test durchgeführt wird, müssen die Testpersonen unbedingt gründlich über ihre Rolle bei dem Test aufgeklärt werden. In einer vertrauensvollen Atmosphäre muss der Beobachter ihnen deutlich machen, dass nicht sie als Personen, nicht ihre Fähigkeit, ein Gerät zu benutzen, und auch nicht die Schnelligkeit ihrer Auffassungsgabe getestet werden soll, sondern einzig und allein, ob die Gebrauchsanleitung im Bedarfsfall korrekte und ausreichende Informationen zur Aufgabenlösung bietet.

Die Beobachter können während des Testlaufs „Stolperstellen“ in der Anleitung und gedankliche „Irrwege“ der Testpersonen besser registrieren, wenn die Testpersonen sich direkt dazu äußern. Diese „Stolperstellen“ und „Irrwege“ stellen wertvolle Testergebnisse dar, die Hinweise für einer Optimierung der Anleitung wie auch des Gerätes geben können. Deswegen sollten die Testpersonen dazu angehalten werden, während des Tests „laut zu denken“, d.h.

1. laut vorzulesen, was sie gerade in der Bedienungs- oder Betriebsanleitung lesen und

2. auszusprechen, was sie gerade denken, als nächsten Schritt tun wollen, was sie nicht verstehen und welche Fragen sie haben.

17

Testaufgaben

Die Auswahl der Testaufgaben beeinflusst den Testverlauf und das gesamte Testergebnis maßgeblich. Vor der Aufgabenauswahl sollte man genaue Kenntnis über die verschiedenen Funktionen des Gerätes erlangen. Auf der Basis dieses Wissens werden dann solche Aufgaben mit verschiedenem Schwierigkeitsgrad formuliert, an deren Lösung der normale Benutzer ein Interesse haben könnte. Dabei sollte man mit einer einfachen Aufgabe beginnen und zu schwierigeren fortschreiten.

Ein weiterer Ansatz für die Testaufgaben kann aus einer vorhergehenden Dokumentanalyse der zu testenden Gebrauchsanleitung entstehen: Aufgrund der Schwachstellen, die man in der Dokumentanalyse ermittelt hat, kann man Hypothesen darüber bilden, ob diese Schwachstellen für die Anwender tatsächlich ein Problem darstellen oder lediglich aus Expertensicht zu bemängeln sind. Dadurch kann man gezielt zu einzelnen Schwachstellen der Gebrauchsanleitung Testaufgaben bilden, um diese Hypothesen verifizieren oder falsifizieren zu können.

Bei dem Usability Test der Gebrauchsanleitung für ein Autoradio könnte man z. B. folgende Aufgabenstellung formulieren:

1. „Schalten Sie das Gerät ein.“

2. „Suchen Sie den Sender ‘WDR 2’ und speichern Sie diesen auf der Stationstaste 1 ab.“

Erfahrungsgemäß haben sich jedoch diese Art von Formulierungen der Aufgaben nicht bewährt, da sie die Testpersonen zu sehr darauf lenken, die Handhabung des Gerätes direkt auszuprobieren, ohne erst in der Gebrauchsanleitung zu lesen. Viele Testpersonen sind nämlich geneigt, nach den ersten gelungenen Aufgaben gar nicht mehr die Gebrauchsanleitung zu lesen, und versuchen sofort, die Aufgabe durch Ausprobieren und durch Anwenden des bis dahin bereits Gelernten zu lösen.

Die Gründe dafür, dass viele Testpersonen lieber handeln wollen, anstatt zuerst zu lesen, können unterschiedlich sein:

• Lerneffekt: Die Testperson glaubt das Gerät bereits zu kennen und hält deswegen die schriftliche Information für überflüssig.

• Schlechte Erfahrungen: Die Testperson hat schlechte Erfahrungen mit anderen Anleitungen gemacht und glaubt deswegen, durch die Methode „Versuch und Irrtum“ schneller zum Ziel zu kommen.

• Ablehnung der Anleitung: Die Testperson will das Gerät einfach spielerisch ausprobieren, nicht aber in der Anleitung lesen.

• Falsches Verständnis vom Testziel: Die Testperson hofft, bei dem Test besonders gut abzuschneiden, wenn sie die Aufgaben besonders schnell erledigt.

• Teststress: Die Testperson vermutet bereits, wie die Aufgabe gelöst werden kann, und möchte möglichst schnell den Test beenden.

Aufgabenstellungen, die diese Handlungsmotive der Testpersonen stärker berücksichtigen und mehr das Testobjekt Gebrauchsanleitung in den Mittelpunkt des Interesses rücken, könnten demzufolge besser wie folgt lauten:

1. „Lesen Sie in der Gebrauchsanleitung, wie man das Gerät einschaltet. Schalten Sie es dann wie in der Anleitung beschrieben ein.“

2. „Schlagen Sie in der Gebrauchsanleitung nach, wie man eine Sendereinstellung speichern kann. Suchen Sie dann den Sender ‘WDR 2’ und speichern Sie diesen wie in der Anleitung beschrieben auf der Stationstaste 1 ab.“

18

Diese Formulierungen betonen den Grundsatz „Erst lesen, dann handeln“ – und die Testpersonen sollten zusätzlich und ausdrücklich gebeten werden, während des Tests immer nach diesem Grundsatz zu verfahren, damit das eigentliche Testziel besser erreicht werden kann.

Achten Sie bei der Formulierung der Aufgaben Sie auf folgende Dinge:

• Geben Sie zuerst eine kurze Zustandsbeschreibung der Situation vor, z. B.: „Sie haben das Gerät vorhin im Laden gekauft und möchten es nun in Betrieb nehmen.“

• Integrieren Sie eine Formulierung, über die sich die Testperson in die Situation einfühlen kann: „Stellen Sie sich nun vor ...“ oder „Nun möchten Sie ...“.

• Betonen Sie den Grundsatz „Erst lesen, dann handeln“, z. B. „Suchen Sie in der Anleitung nach Informationen, um ...“.

• Formulieren Sie die Aufgaben so, dass das Ziel der Tätigkeit ganz genau daraus hervor geht. Dieses Ziel kann eine Handlung sein („... und führen Sie die beschriebenen Tätigkeiten aus.) Sie können aber auch Aufgaben formulieren, zu deren Lösung die Testperson bestimmte Informationen in der Anleitung einfach finden und wiedergeben muss („... und beschreiben Sie ... in eigenen Worten.“).

Hier zwei Beispiele für Aufgaben zu einem Toaster:

1. „Sie haben soeben diesen Toaster im Geschäft gekauft und möchten nun Ihr erstes Toastbrot damit rösten. Suchen Sie in der Anleitung nach Informationen darüber, wie Sie den Toaster in Betrieb nehmen und Brot toasten können. Rösten Sie dann wie dort beschrieben die bereit liegende Brotscheibe.“

2. „Stellen Sie sich vor, dass Ihr Kind den Toaster mit schokoladenbeschmierten Fingern angefasst hat. Sie möchten nun den Toaster reinigen. Finden Sie in der Anleitung Hinweise zur Reinigung. Erklären Sie dann in eigenen Worten, was Sie tun müssten.“

Die Anzahl der Testaufgaben richtet sich nach dem Schwierigkeitsgrad und Bearbeitungsdauer der einzelnen Aufgaben. Es sollte jedoch eine Testdauer von ca. 30 Minuten, maximal 45 Minuten, nicht überschritten werden. Tests, die über diesen Zeitraum hinausgehen, sind erfahrungsgemäß weniger sinnvoll, da die Konzentration der Testpersonen schnell nachlässt und der Stress zum Ende hin größer wird, wodurch die Testaussagen verfälscht werden. Darüber hinaus erhält man mit vielen kurzen Tests eine breitere Datenbasis für die Ergebnisauswertung.

Vor der Durchführung des Testprogramms ist es aus zwei Gründen sinnvoll, die zusammen-gestellten Testaufgaben einem Pre-Test zu unterziehen: Zum einen können so die Aufgabenstellung überprüft und ggf. verbessert werden, zum anderen gewinnt man durch den Pre-Test Richtwerte, in welcher Zeit die Aufgaben gelöst werden könnten.

Beobachter

Als Beobachter kommen Personen in Frage, die sowohl Gerät als auch Dokumentation bereits kennen. Sie sollten eine gute Beobachtungsgabe haben und ihre Beobachtungen stichwortartig festhalten können. Sie sollen die Testperson über den Ablauf des Praxistests informieren und zum „lauten Denken“ anhalten. Es ist nicht zwingend notwendig, dass immer dieselben Beobachter jeden Test betreuen.

19

Dem Beobachter kommen während des Tests folgende Aufgaben zu:

1. Die Testperson muss mit dem Testablauf vertraut gemacht werden. Vor allem ist es wichtig, eine positive Atmosphäre zu schaffen und die Testperson darauf hinzuweisen, dass einzig und allein die Qualität der Gebrauchsanleitung getestet werden soll und nicht die Person selbst.

2. Die Testperson muss zum „lauten Denken“ animiert werden, damit ihre Vorgehensweise für die Beobachter transparenter wird.

3. Hauptaufgabe ist die Beobachtung der Testperson und das Festhalten ihres Verhaltens und Vorgehens beim Lösen der Aufgaben. Insbesondere muss festgehalten werden, an welcher Stelle Fragen und Probleme auftauchen, wenn es zu mehreren Versuchen, Fehlhandlungen oder Irrtümern kommt.

4. Vor und nach dem Test stellt der Beobachter der Testperson noch einige Fragen zu ihrem Informationsstand über das Gerät, ihrer Einstellung zum Gerät und der Gebrauchsanleitung.

Betreuer

Für den Ablauf der Testserie ist es sinnvoll, einen Betreuer zu bestimmen, der sich um den organisatorischen Ablauf des Tests kümmert. Weiterhin sollte der Betreuer eingehende Kenntnisse über das Gerät haben, um es auf den Test vorzubereiten und ggf. bei kritischen Situationen helfen zu können.

Fünf Dokumente

Insgesamt werden für den Ablauf des Praxistests fünf Dokumente benötigt, die den Ablauf erleichtern und die Ergebnisse dokumentieren sollen.

Informationsschrift für die Beobachter

Zu Beginn des Tests werden dem Beobachter sämtliche Dokumente ausgehändigt.

Mit dem ersten Dokument soll der Beobachter selbst über den Testablauf und seine persönlichen Aufgaben informiert werden. Dieses Informationsblatt sollte Angaben enthalten zum Testablauf und zu den Aufgaben des Beobachters. Der Beobachter sollte außerdem Hinweise erhalten, wie er die Testpersonen über ihre Rolle aufklären kann, wie er sie zum „Lauten Denken“ ermuntert und wie er die Testpersonen zur Einhaltung des Grundsatzes „Erst Lesen, dann handeln“ anhält.

Aufgabenblatt

Das Blatt mit den Aufgaben erhält die Testperson nach der ersten Befragung durch den Beobachter. Auf diesem Blatt sollen die Aufgaben klar und deutlich formuliert stehen, so dass die Testperson ohne weitere Fragen die Lösung der Aufgaben angehen kann. Auf diesem Blatt sollten außer den Aufgaben selbst lediglich einleitende Hinweise auf die beiden Testprinzipien „Lauten Denken“ und „Erst Lesen, dann handeln“ stehen. Das Aufgabenblatt sollte also keine weiteren Anweisungen oder gar die für die Lösung der Aufgaben vorgesehenen Zeiten enthalten.

20

Für den Fall, dass die Testperson am Gerät nacheinander mehrere Aufgaben lösen soll, hat es sich bewährt, die Aufgaben nicht gesammelt auf einem Blatt zur Verfügung zu stellen, sondern erst nach dem Beenden einer Aufgabe die nächste auszugeben. Dadurch lässt sich vermeiden, dass die Testperson sich bereits der nächsten Aufgabe zuwendet, während der Beobachter sich noch Notizen zur vorangegangenen macht und noch gar nicht aufmerksam ist. Außerdem kann es sein, dass der Beobachter vor der nächsten Aufgabe das Gerät erst vorbereiten muss, z. B. in einen bestimmten Betriebszustand schalten muss.

Fragebogen vor dem Test

Vor dem eigentlichen Test soll der Beobachter eine Befragung der Testperson durchführen. Mit Hilfe des ersten Fragebogens soll ermittelt werden,

• welchen Informationsstand die Testperson über das Gerät besitzt,

• wie die Testperson ihr eigenes technisches Verständnis einschätzt und

• wie ihre Haltung gegenüber Gebrauch- und Betriebsanleitungen im Allgemeinen ist.

Darüber hinaus kann ermittelt werden, welche Erwartungen die Testperson an das Gerät hat und wie ihr erster Eindruck von der Gebrauchsanleitung ist.

Beobachtungsbogen

Auf dem Beobachtungsbogen soll der Beobachter seine Notizen machen. Dies kann ihm durch einen vorgefertigten Bogen erleichtert werden.

Oft werden Bögen eingesetzt, auf denen der Beobachter nur bestimmte Kategorien anzukreuzen braucht. Dort finden sich Kategorien wie

• „Orientiert sich an der Gebrauchsanleitung“,

• „Fängt an zu probieren ohne Gebrauchsanleitung“ oder

• „Sucht in der Gebrauchsanleitung“.

Diese „standardisierten Beobachtungskriterien“ sollen dann vom Beobachter der Vorgehensweise der Testperson entsprechend beziffert werden.

Solche Kategorien ermöglichen eine standardisierte Auswertung über Datenbanken o. ä., haben aber auch einen wesentlichen Nachteil: Oft genug ist es der Fall, dass die gemachten Beobachtungen eben nicht in diese Kategorien passen. Außerdem ist der Beobachter meistens unter Zeitdruck und wird sich schwer tun, immer die Kategorie herauszusuchen, die er ankreuzen müsste. Aus diesen Gründen empfiehlt sich ein Beobachtungsbogen mit viel Raum für freie Notizen des Beobachters, so dass er z. B. markante Äußerungen des „lauten Denkens“ der Testpersonen festhalten kann.

Außerdem sollte der Beobachter festhalten, wie viel Zeit die Testperson zur Lösung der Aufgabe im Vergleich zu Richtzeiten benötigt, wie sie durch den Pre-Test ermittelt worden sind.

21

Fragebogen nach dem Test

Nach dem Lösen der Testaufgaben werden der Testperson noch einige Fragen gestellt. Mit der Hilfe eines Fragebogens ermittelt man noch folgende Informationen:

• Welchen Eindruck hat die Person vom Gerät und der Bedienungsanleitung?

• Wo hat die Testperson Probleme im Umgang mit der Gebrauchsanleitung gehabt?

• Welche Vorschläge würde die Testperson zur Verbesserung der Gebrauchsanleitung machen?

Aufschlussreich ist in diesem Zusammenhang eine Bewertung der Gebrauchsanleitung durch die Testperson und eine Bewertung durch den Beobachter, wie seiner Meinung nach die Testperson mit der Gebrauchsanleitung zurecht gekommen ist.

Grundsätzlicher Ablauf

Zusammenfassend könnte der Ablauf eines Usability Testings so aussehen:

• Beobachter empfängt die Testperson

• Beobachter führt ein Vorgespräch und stellt die vorbereiteten Fragen

• Eigentlicher Test: Testperson löst die vorgegebenen Aufgaben

• Beobachter führt ein Gespräch und stellt die vorbereiteten Fragen nach dem Test

• Gegebenenfalls mehrere Testläufe mit verschiedenen Testpersonen

• Auswertung der Ergebnisse

Ergebnisse auswerten

Als Ergebnis hält man nach dem Usability Testing zwei Pakete in der Hand: eins mit den ausge-füllten Fragebögen, eins mit den ausgefüllten Beobachtungsbögen. Die wichtigsten Angaben für die Evaluation der Technischen Dokumentation finden sich in den Beobachtungsbögen.

Die Angaben in den Fragebögen lassen sich sehr gut in Statistiken und Diagrammen darstellen, vorausgesetzt, die Fragen sind entsprechend formuliert worden. Diese Statistiken sind nicht nur für die Abteilungen interessant, die sich mit der Technischen Dokumentation beschäftigen, sondern auch für Entwicklung, Vertrieb und Marketing.

Die Angaben in den Beobachtungsbögen lassen sich nicht so ohne weiteres in Statistiken und Diagrammen darstellen. Dies ist der Nachteil von freien Notizen. Sehr schnell kristallisieren sich aber die größten „Stolperstellen“ heraus, oft haben an manchen Stellen viele Testpersonen die gleichen Probleme. Genau diese Erkenntnis ist der Ansatzpunkt für eine Verbesserung der Gebrauchs- oder Betriebsanleitung, nun ist es bekannt, an welchen Stellen Probleme auftreten. Aufsetzend auf dieses Wissen kann nun untersucht werden, ob es sich um eine Schwäche der Gebrauchsanleitung handelt, oder ob der Fehler eher bei dem Gerät und seiner Konzeption zu suchen ist.

22

Die Ergebnisse des Usability Testings dokumentieren die Qualität der Technischen Dokumentation aus Anwendersicht und sind somit eine ideale Ergänzung zum Expertengutachten. Die Ergebnisse des Praxistests sollten aber nicht mit denen der Analyse vermischt, sondern in einem gesonderten Dokument dargelegt werden. Dies könnte inhaltlich wie folgt aussehen:

1. Ein Titelblatt mit Angaben zur Art des Dokuments, dem Inhalt und dem Autor.

2. Ein Inhaltsverzeichnis mit allen im Dokument zu findenden Informationen.

3. Eine Einführung mit Darlegung der Vorgehensweise.

4. Eine Beschreibung der verwendeten Fragebögen.

5. Eine Beschreibung der gestellten Aufgaben mit Begründung, warum gerade diese Aufgaben gestellt wurden.

6. Eine Darstellung der Ergebnisse mit Hervorhebung der wichtigsten Erkenntnisse.

7. Eine Darstellung, welche Auswirkungen die Ergebnisse des Praxistests auf die Technische Dokumentation haben sollten.

8. Ein Anhang, in dem Kopien der verwendeten Testunterlagen zu finden sind.

Genauso wie die Ergebnisse des Gutachtens sollten die Ergebnisse des Praxistests im Rahmen einer Präsentation dargelegt werden.

23

Der Wert von Evaluation oder Was hat ein Unternehmen davon?

Heutzutage ist es leider immer noch so, dass Unternehmen ihrer Pflicht zur Erstellung von Benutzerinformationen oft nur sehr träge und anscheinend ungern nachkommen. Meistens wird die Aufgabe der Technischen Dokumentation misstrauisch beobachtet und mit dem Hintergedanken, dass das doch alles viel zu teuer sei. Wie soll man den Entscheidern in solchen Unternehmen nun verdeutlichen, dass die Technische Dokumentation des Unternehmens wie andere Bereiche der Produktion einer ständigen Evaluation unterliegen soll? Dass es notwendig ist, Dokumentationen zu begutachten und zu testen?

Evaluation von Technischer Dokumentation kann als Chance betrachtet werden, deren Ergebnis klare betriebswirtschaftliche Vorteile bringt.

Dokumentation als Mehrwert für das Produkt

Einmal davon abgesehen, dass die Technische Dokumentation mit dem Gerät ausgeliefert werden muss, begreifen allmählich viele Manager, das eine gute Gebrauchs- oder Betriebsanleitung den Wert des Produktes steigern kann. Aus diesem Grund sollten einige Abteilungen in den Unternehmen ein starkes Interesse an guten Dokumentationen haben, in erster Linie das Management und das Marketing.

In Zeiten von Total Quality Management (TQM) steht die Qualität eines Produktes und die Kundenzufriedenheit im Mittelpunkt sämtlicher Bemühungen. Im TQM wird zwischen einem Gerät und einem Produkt unterschieden, ein Produkt umfasst das Gerät, den Service, die Mitarbeiterfreundlichkeit und natürlich die Technische Dokumentation. Jeder einzelne Bestandteil kann den Wert des Produktes vermindern oder auch erhöhen, also ist es keine Frage, welche Rolle eine gute Gebrauchsanleitung spielt.

Ein Kunde ist mit einem Gerät zufrieden, wenn es die gestellten Erwartungen und Anforderungen erfüllt. Ein Kunde erwartet z. B., dass er ohne größere Probleme alle Funktionen des Gerätes nutzen kann. Genau bei diesem Vorgang, beim Kennenlernen und beim Bedienenlernen des Gerätes, kommt der Technischen Dokumentation eine sehr große Bedeutung zu.

24

Dem Marketing wird mit einer guten Technischen Dokumentation ein gutes Werkzeug in die Hand gegeben:

Im Pre-Sales-Marketing, also dem Marketing vor dem Verkauf des Produktes, kann eine gute Dokumentation zwei Aufgaben erfüllen:

1. Verkäufer müssen sich meistens das notwendige Wissen über das Gerät aus der Gebrauchsanleitung besorgen, um das Gerät präsentieren und erklären zu können. Es soll schon vorgekommen sein, dass ein Gerät so gut wie überhaupt nicht verkauft wurde, weil die Verkäufer damit nicht zurecht kamen und es somit auch nicht entsprechend präsentieren konnten.

2. Immer öfter wird die Gebrauchsanleitung mit in den Entscheidungsprozess des Kunden einbezogen. Also kann auch hier eine gute Gebrauchsanleitung für einen Verkaufsschub sorgen.

Im After-Sales-Marketing liegt den Marketingstrategen die Kundenbindung am Herzen, da es doch viel günstiger ist, Stammkunden zu binden als Neukunden zu werben. Kundenbindung funktioniert aber nur über Kundenzufriedenheit, und wie diese mit Hilfe der Technischen Dokumentation gesteigert werden kann, ist schon weiter oben beschrieben worden.

Sicherheit gegenüber Regressansprüchen

Die Anforderungen aus Gesetzen, Normen und Richtlinien an die Technische Dokumentation werden immer höher. Allein aus diesem Grunde schon ist es legitim, die Dokumentationsarbeit in die Hände von Fachleuten zu legen.

In den USA kann man immer wieder verfolgen, wie Unternehmen zur Zahlung von Schmerzensgeldern und Entschädigungen in Millionenhöhe verurteilt werden, nur weil es aufgrund von mangelhafter Technischer Dokumentation zu Regressansprüchen gekommen ist. In der BRD werden zwar nicht ganz so hohe Geldbeträge eingeklagt, aber trotzdem kann eine mangelhafte Gebrauchs- oder Betriebsanleitung einem Unternehmen sehr teuer zu stehen kommen.

Im Verhältnis zu den im Schadensfall zu erwartenden Nachteilen ist die Erstellung einer guten Technischen Dokumentation und die damit verbundene Evaluation noch sehr günstig.

25

Literaturverzeichnis

Boedicker, Dagmar: Handbuch-Knigge. Software-Handbücher schreiben und beurteilen. Mannheim, BI-Wissenschaftlicher Verlag, 1990

Brinker, Klaus: Linguistische Textanalyse. Eine Einführung in Grundbegriffe und Methoden. 4.durchges. und erg. Aufl., Berlin, Erich-Schmidt, 1997

Gabriel, Carl-Heinz: tekom-Richtlinie. Technische Dokumentation beurteilen. Stuttgart, tekom-Gesellschaft für technische Kommunikation e.V., 1991

Geyer, Ralf: Evaluation von Gebrauchsanleitungen. tekom-Hochschulschriften Nr. 4, Stuttgart, 1995

Geyer, Ralf: Tagungsunterlagen zum Workshop „Tauglichkeit von Anleitungen durch Praxistests überprüfen“, tekom-Tagung Wiesbaden 2003

Gulbins, Jürgen; Kahrmann, Christine: Mut zur Typographie. Ein Kurs für DTP und Textverarbeitung. Berlin, Springer-Verlag, korrigierter Nachdruck 1993

Langer, Inghard u.a.: Sich verständlich ausdrücken. 5., verb. Aufl., München; Basel, E. Reinhardt, 1993

Neuß, Michael: Bedienungsanleitungen und die EG-Richtlinie „Maschinen“, Hannover, Schriftliche Arbeit an der FH Hannover, SS1997

Riedel, Falko u.a.: Praxishandbuch Technische Dokumentation. Wirtschaftlich organisieren, systematisch erstellen, kundengerecht gestalten. Augsburg, WEKA Fachverlag für technische Führungskräfte, Grundwerk einschl. Aktualisierungs- und Ergänzungslieferung Oktober 1997

Schwermer, Rolf u.a.: Blaupunkt-Anleitungen auf dem Prüfstand. Dokumentanalyse der Bedienungsanleitungen TravelPilot RGS06 und Radiophone Amsterdam. Hannover, Semesterprojekt an der FH Hannover, WS 1997/98

VDI-Richtlinie 4500 „Technische Dokumentation. Benutzerinformation“, Düsseldorf, Verein Deutscher Ingenieure, 1994

26

Selbstkontrolle

Fragen

Beantworten Sie für sich zur Selbstkontrolle stichwortartig die folgenden Fragen. Musterlösungen finden Sie auf der folgenden Seite, ausführliche Beantwortung finden Sie in dieser Selbstlerneinheit an den entsprechenden Textstellen.

1. Nennen Sie fünf gängige Methoden zum Bewerten von Technischer Dokumentation 1. In welchen zwei Gruppen lassen sich diese Methoden bezüglich der Auslieferung von

Technischer Dokumentation gliedern? 2. Nennen Sie mindestens sechs Analysekriterien, um eine Anleitung aus Sicht eines

Experten zu beurteilen. 3. Was ist der Hauptunterschied zwischen den beiden Evaluationsverfahren, die zum einen

von Experten durchgeführt werden, zum anderen von Anwendern? 4. Welche Anleitungstypen unterscheidet man und für welche davon ist ein Anwendertest

geeignet? 5. Welche Vorbereitungen sollte man beim Durchführen eines Anwendertests treffen? 6. Welche Personen(gruppen) nehmen an einem Anwendertest teil? 7. Wie könnte ein Anwendertest grundsätzlich ablaufen? 8. Welche fünf Dokumente benötigt man, um einen Anwendertest durchzuführen? 9. Welche Grundsätze sind beim Formulieren von Testfragen zu beachten? Nennen Sie die

Grundsätze und formulieren Sie eine einfache Aufgabe für einen Videorekorder. 10. Was hat ein Unternehmen von einer Evaluation?

Halt!

27

Blättern Sie nur um, wenn Sie wirklich die Musterlösungen sehen möchten ...

28

Musterlösungen

1. Nennen Sie fünf gängige Methoden zum Bewerten von Technischer Dokumentation - Daten aus Marketing/Kundendienst/Hotline - Anwenderbefragung - Beobachtungen in konkreter Anwendungssituation - (Experten-)Gutachten - Usability Testing (Anwendertest, Praxistest)

(siehe Seite 3)

2. In welchen zwei Gruppen lassen sich diese Methoden bezüglich der Auslieferung von Technischer Dokumentation gliedern? Die ersten drei können erst nach der Auslieferung des Produktes an den Kunden durchgeführt werden, die letzten beiden bereits vorher.

(siehe Seite 3)

3. Nennen Sie mindestens sechs Analysekriterien, um eine Anleitung aus Sicht eines Experten zu beurteilen. - Gliederung - Aufbau - Lesehilfen - Text - Sicherheitshinweise - Abbildungen, Visualisierungen - Gestaltung - Normenkonformität - Sachliche Richtigkeit, Vollständigkeit, Informationsangebot

(siehe Seite 7)

4. Was ist der Hauptunterschied zwischen den beiden Evaluationsverfahren, die zum einen von Experten durchgeführt werden, zum anderen von Anwendern? Das Gutachten ist aus Sicht des Fachmanns erstellt und zeigt mehr die formalen Schwachstellen des evaluierten Dokuments auf. Der Praxistest zeigt die Vorteile oder Schwachstellen aus Sicht des Anwenders im „tatsächlichen“ Einsatz. Wichtig dabei: Beide Verfahren ergänzen sich und liefern in Kombination ein optimales Ergebnis.

(siehe Seite 5, Seite 13)

5. Welche Anleitungstypen unterscheidet man und für welche davon ist ein Anwendertest geeignet? Es gibt die Sofortanleitung, die Nachschlageanleitung und die Lernanleitung. Die beiden ersten sind für einen Anwendertest geeignet.

(siehe Seite 16)

29

6. Welche Vorbereitungen sollte man beim Durchführen eines Anwendertests treffen? - Terminplan festlegen - Räumlichkeiten wählen und bereitstellen - Testpersonen auswählen und einladen - Testaufgaben erstellen und ausformulieren - Pre-Test durchführen - Testdokumente vorbereiten

(siehe Seite 16)

7. Welche Personen(gruppen) nehmen an einem Anwendertest teil? - Testpersonen - Beobachter - gegebenenfalls Betreuer

(siehe ab Seite 17)

8. Wie könnte ein Anwendertest grundsätzlich ablaufen? - Beobachter empfängt die Testperson - Beobachter führt ein Vorgespräch und stellt die vorbereiteten Fragen - Eigentlicher Test: Testperson löst die vorgegebenen Aufgaben - Beobachter führt ein Gespräch und stellt die vorbereiteten Fragen nach dem Test - Gegebenenfalls mehrere Testläufe mit verschiedenen Testpersonen - Auswertung der Ergebnisse

(siehe Seite 22)

9. Welche fünf Dokumente benötigt man, um einen Anwendertest durchzuführen? - Informationsschrift für den Beobachter - Fragebogen vor dem Test (Vorgespräch) - Aufgabenblatt - Beobachtungsbogen - Fragebogen nach dem Test (Nachgespräch)

(siehe Seite 20)

10. Welche Grundsätze sind beim Formulieren von Testfragen zu beachten? Nennen Sie die Grundsätze und formulieren Sie eine einfache Aufgabe für einen Videorekorder. - Zustandsbeschreibung der Ausgangssituation geben - Formulierung, um sich in die Situation einzufühlen - „Erst lesen, dann handeln“ betonen - Ziel der Aufgabe klar formulieren

(siehe ab Seite 18, Formulierung angelehnt an die Beispielaufgaben zum Toaster)

11. Was hat ein Unternehmen von einer Evaluation? - Mehrwert für das Produkt durch benutzerfreundliche, gelungene Dokumentation - Sicherheit gegen Regressansprüche durch Erfüllung der gesetzlichen Anforderungen

(siehe Seite 24)

30