Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation...

transcript

Kick-Off Studienprojekt

Mixed Reality zur Wartungs- und

Reparaturunterstützung im

industriellen Umfeld

Josef Altmann, Mirjam Augstein,

Hans-Christian Jetter, Werner Kurschl

Version 1.0, 2016

Mixed Reality

Ausgangssituation

• Einsatz von mobilen Endgeräten (bspw. Tablets, Smart-

Phones, Smart-Watches) ist im industriellen Umfeld

alltäglich und weit verbreitet (siehe Industrie 4.0).

• Mixed Reality-Lösungen (bspw. Datenbrillen, Smart

Glasses) bilden nächsten innovativen Entwicklungsschritt.

„Deutsche Unternehmen werden im Jahr 2020

knapp 850 Millionen Euro in Virtual- und Mixed

Reality-Lösungen investieren. Den Löwenanteil

machen hierbei innovative Anwendungen aus.“ *1

1 Studie Fraunhofer, bitkom: Head Mounted Displays in deutschen Unternehmen

https://www.bitkom.org/Publikationen/2016/Studien/Head-Mounted-Displays-in-deutschen-Unternehmen/

Deloitte-Fraunhofer-Bitkom-2016-05-Head-Mounted-Displays-in-deutschen-Un.pdf

Mixed Reality

Was ist Mixed Reality?

Paul Milgram und Fumio Kishino.„A taxonomy of Mixed Reality Visual Displays“. IEICE Trans.

Information Systems E77-D.12 (1994), S. 1321–1329

Mixed Reality

Anwendungsfelder von Mixed Reality

Studie Fraunhofer, bitkom: Head Mounted Displays in deutschen Unternehmen

https://www.bitkom.org/Publikationen/2016/Studien/Head-Mounted-Displays-in-deutschen-Unternehmen/

Deloitte-Fraunhofer-Bitkom-2016-05-Head-Mounted-Displays-in-deutschen-Un.pdf

Mixed Reality

Projektziele

• Unterstützung des Informationsaustausches und der örtlich verteilten Zusammenarbeit zwischen den Hotline-MitarbeiterInnen und dem Wartungspersonal durch geeignete Mixed Reality-Lösungen.

• Anforderungen, Potentiale und Grenzen von Mixed Reality-Lösungen am Beispiel der Datenbrille Microsoft HoloLens sollen im industriellen Wartungs- und Reparaturbereich aufgezeigt werden.

• Entwicklung von Prototypen und Evaluierung durch das Wartungspersonal und die Hotline-MitarbeiterInnen.

Die Ergebnisse sollen Hotline-MitarbeiterInnen dabei

unterstützen, dem Wartungspersonal vor Ort schnell

Hilfestellung zu bieten, Fehlerzeiten drastisch zu

reduzieren und die Arbeitsabläufe zu verbessern.

Mixed Reality

• Verschmelzen von virtueller und echter Realität mittels

halbtransparenter Head Mounted Displays.

• Beispiel:

- Thyssen Krupp Mixed Reality Lift Wartung

- Volkswagen Virtual Reality Montage Training

Mixed Reality

Partner und Anprechpersonen

• Projektcoaches

- Josef Altmann (KWM)

- Werner Kurschl (SE, HCC)

• Projektmentoren

- Mirjam Augstein (KWM) für Evaluation von Usability/UX

- Hans-Christian Jetter (SE, HCC) für Design der Usability/UX

• Auftraggeber

- TGW Logistics Group GmbH

• Kollmannstraße 2

• 4600 Wels

• Website: https://www.tgw-group.com/

Thomas Knogler, MSc

Innovation Manager

TGW Logistics Group GmbH

Mobile +43 664 9662624

Thomas.Knogler@tgw-group.com

Mixed Reality

Vorstellungsrunde

Mixed Reality

Projekt-Infrastruktur

• Projektlabor PLS6 + K.lab 5 (FH2)

• Hardware

- Microsoft HoloLens

• Software

- Visual Studio 2015 Update 3 mit Windows 10 SDK

- HoloLens Unit

- HoloLens Emulator

Software: https://developer.microsoft.com/en-us/windows/holographic/install_the_tools

Tutorials: https://developer.microsoft.com/en-us/windows/holographic/academy

Documentation: https://developer.microsoft.com/en-us/windows/holographic/documentation

Mixed Reality

Vorgehensweise

Christian Moser: User Experience Design, Springer Verlag, 2013

Mixed Reality

Anstehende Termine

• Internes Kick-Off Meeting mit Projektgruppe

- Mittwoch, 5.10.2016, 15:30-17:00, PLS6.0

• Vortrag „Holo, World! Entwickeln für HoloLens

- Mittwoch, 12.10.2016, 18:00, karriere.at Audimax

• Kick-Off Meeting mit Auftraggeber

- Mittwoch, 19.10.2016, 12:00-15:00, TGW Wels

• Exkursion HoloLens Lab München

- Do 27.10.2016, 12:00,

- Walter-Gropius-Straße 5, München

http://www.sueddeutsche.de/muenchen/neue-zentrale-so-sieht-es-bei-microsoft-in-

schwabing-aus-1.2998298

Mixed Reality

Kick-Off Meeting mit Auftraggeber

• Hauptgebäude TGW

- Collmannstraße 2, 4600 Wels

Mixed Reality

Zeitlicher Ablauf

• Meilenstein 1: 12.10.2016

- Projektmanagement

• Team Building und Aufbauorganisation

• Infrastrukturaufbau

* Design-, Entwicklungswerkzeuge und Bibliotheken, Versionsmanagement,

Zeitaufzeichnung, Vorlagen für Agenda/Protokolle/Präsentation etc.

• Projekt(grob)planung

• Vorbereitung Kick-Off-Meeting mit Auftraggeber

- Einarbeiten in Hardware und Software (lfd)

• Meilenstein 2: ~ Anfang November

- Design Thinking

• Vorstudien,

• Ideenfindung,

• Kreativitätsworkshops

Mixed Reality

Zeitlicher Ablauf

• Input: Crash-Kurs Interaktionsdesign

- Hans-Christian Jetter

- Terminvorschlag: 2.11.2016, 12:10-14:35

• Meilenstein 3: ~ Mitte/Ende November 2016

- Abgeschlossene Kontext- und

Anforderungsanalyse mit Personas,

Problemszenarien und „gesketchte“

Storyboards

• Meilenstein 4: xx.12.2016

- Prototyping

- Grundsystem: so dass Idee(n) bis Ende

Jänner realisiert werden kann/können

Mixed Reality

Zeitlicher Ablauf

• Meilenstein 5: Ende Jänner 2017

- System – Ausbaustufe 1: Einsatz beim Tag der offenen Tür März 2017. Die Abnahme umfasst auch die Definition des Untersuchungsdesigns sowie die Einschulung des Messestandpersonals.

• Meilenstein 6: Evaluierung am TdoT:

- 16.3.2017, ca. 18:00 Aufbau SRS3

- 17.3.2017, 09:00-17:00

- Demonstration mit TGW

- Evaluierung

• Sommersemester 2017

- Redesign und Ausbau, Evaluierung, Stabilisierung

- System – Ausbaustufe n

- Projektübergabe

• Weiterführende Masterarbeiten möglich

Mixed Reality

Organisatorische Rahmenbedingungen

• Interdisziplinäres Projekt erfordert entsprechende

Zusammenarbeit

- KWM-Studenten (Master)

- SE-Studenten (Master)

• Gemeinsame Projektstunden

- Mittwoch 12:10-14:35, bzw. flexible Planung

• Projektaufwand

- gemäß Stundenplan

- Folgende Punkte sind vom Projektaufwand ausgenommen:

• Besuch HoloLens Lab München (freiwillig)

• Literaturstudium

• Vertiefende technische Einarbeitung in Hard- und Software

• TdoT

Mixed Reality

Nächste Schritte

• ProjektkoordinatorInnen auswählen

• Projektbibliothek/Dokumentation aufbauen

- \\projekte\ProjSE\mse12gXWS16(wird noch bekannt gegeben)

• Problemstellung analysieren

• Kick-Off vorbereiten

• Infrastruktur herstellen

- E-Mail-Adresse der Projektgruppe

• mse12XWS16@fh-hagenberg.at

(wird noch bekannt gegeben)

- Gemeinsame E-Mail-Adresse der Coaches und Mentoren

• coachesWS16@fh-hagenberg.at

- SVN/Git, Trac-Server: Serververantwortlichen bestimmen(wird noch bekannt gegeben)

Mixed Reality

Hinweise (Related Work)

• Design Thinking

- Wikipedia

- Hasso Plattner Institut, Universität Potsdam

http://www.hpi.uni-potsdam.de/d_school/home.html

Mixed Reality

Weiterführende Literatur

• Jenny Preece, Yvonne Rogers, Helen Sharp:

Interaction Design: Beyond Human-Computer

Interaction (4th ed.), 2015

• Rex Hartson, Pardha Pyla, The UX Book,

Process and Guidelines for Ensuring a Quality

User Experience, Morgan Kaufmann; 1 edition

(March 2, 2012)

• Saul Greenberg, Sheelagh Carpendale, Nicolai

Marquardt, Bill Buxton: Sketching User

Experiences –The Workbook, 2012

Mixed Reality

Weiterführende Literatur

• R. Dörner, W. Broll, P. Grimm und B. Jung.

Virtual und Augmented Reality (VR / AR):

Grundlagen und Methoden der Virtuellen und

Augmentierten Realität. Springer, 2014 als

PDF in unserer Bibliothek

Mixed Reality Slide 2222

“Nur diejenigen, die es riskieren, zu weit zu

gehen, haben die Möglichkeit

herauszufinden, wie weit man gehen kann.” T. S. Eliot

INTERAKTIONSDESIGN & USABILITY

natürlich

macht Spaß

gute User Experience („UX“)

Eng verwandt mit Human-

Computer Interaction (HCI) und

Usability Engineering, …

selbsterklärend

USER-CENTERED DESIGN

ITERATIONS

Sketching:

Scribbles, Storyboards,

Hybrid Sketches, …

Requirements Analysis:

Scenarios, Personas, …

GUI Design:

GUI Sketches, Wireframes …

Building & Prototyping

Mockups, Prototypes …

Development

Usability Evaluation

Heuristic Evaluation, Usability Tests

ITERATIONS

“Getting a system exactly right the first time is very difficult, if not impossible.” (Constantine & Lockwood, Software for Use, p.24)

Traditional waterfall model is

not only unsuitable for code, but

especially for user interfaces!

Today user-centered design:

Iterative design with successive

refinements based on usability

inspections and tests.

CONTEXT OF USE IS KEY!

Playstation Move:

What Sony thought…

Photo courtesy of Sony Computer Entertainment Europe User Research Team

Playstation Move:

What Sony saw…

Photo courtesy of Sony Computer Entertainment Europe User Research Team

Playstation Move:

What Sony saw…

UNDERSTANDING ENVIRONMENT

Already a single photo can help to avoid severe design flaws! Here the initial design ideas for a push-to-talk

communication device included loudspeakers and a touch screen. These ideas were discarded, for obvious reasons.

UNDERSTANDING MATERIALS

Source: http://fearoflanding.com/files/2012/12/P1080129.jpg

Paper records are more than simply carriers of information about patients. They carry other important information:

handwriting who did what?

wear and tear indicates heavy use / age

pencil vs. pen tentative vs. permanent information

Designers of computing systems often forget about integrating such information

(Dourish, 2004)

(Source: https://en.wikipedia.org/wiki/Medical_record)

SKETCHING

DESIGNPROBLEM

FINALDESIGN

SKETCHING

FIXING USABILITY IS EXPENSIVE

In a 1992 survey, on average 47.6% of the code and 50.1% of

implementation time were for UI [Myers & Rosson 1992].

From a 2004 paper: “the user interface represents 50% to 80% of an application” [Beaudouin-Lafon 2004]. Today ???

Source: http://quotesondesign.com/

For IxD we could say: “You can use an eraser on your UI sketch now or change thousands of lines of code after programming”.

MIXED-REALITY: UTOPIA/DYSTOPIA ?

Source: Hyper-Reality. https://www.youtube.com/watch?v=YJg02ivYzSs

Mixed Reality zur Wartungs- und Reparaturunterstützung im ... · Mixed Reality Ausgangssituation...

Documents