Head-Worn Displays Mehr sehen durch die Datenbrille · 2014-11-26 · Einführung 6 Virtual Reality...

transcript

Head-Worn Displays – Mehr sehen durch die Datenbrille

Ingrid Jaquemotte

05.11.14

Technik und Anwendung

• Einführung

• Technik

• Beispiele

• Trackingmethoden

• Projekte der Jade-Hochschule

• Ausblick

Head-Worn Displays –

Mehr sehen durch die Datenbrille ?

Inhalt

Einführung 3

Head Mounted Display – vor 50 Jahren

Erstes funktionsfähiges HMD wird

1968 entwickelt von Ivan Sutherland

an der Harvard University

/Sutherland, 1968/

Head Mounted Display = auf dem Kopf montierte Anzeige

Einführung 4

Head Worn Display - heute

die digitale Brille

als neue Generation

mobiler Endgeräte

• immer kleineren und

leistungsfähigeren

Sensoren

• vielen Funktionen aus dem

Bereich der Smartphones

/Google Glass 1/

Einführung 5

Augmented

Reality

Virtual Reality Bilder und

Videos

Head Worn Displays (HWD) - Begriffsklärung

Einführung 6

Virtual Reality (Virtuelle Realität)

• Virtuelle Realität (VR) ist die Wiedergabe einer interaktiven, in Echtzeit

generierten virtuellen Umgebung

• Immersion ist das Eintauchen in eine virtuelle Welt, der Betrachter

nimmt weniger die reale Welt wahr, sondern fühlt sich als Teil einer

virtuellen Welt

• Verwendete Hardware, z.B.

– HWD

– Cave

• Darstellungsmethode

– häufig stereoskopisch

• Interaktion

– 3D-Maus, Datenhandschuh

– Gesten

Einführung 7

Augmented Reality - Definitionen

Ein AR-System hat die folgenden charakteristischen Merkmale:

• es kombiniert die reale Welt mit einer virtuellen Welt

• es ist interaktiv und reagiert in Echtzeit

• es ist 3-dimensional

/Azuma, 1997/

Reale Welt Virtuelle Welt

Gemischte Realität Mixed Reality (MR)

Erweiterte Realität Erweiterte Virtualität

Real Environment Augmented Reality (AR) Augmented Virtuality (AV) Virtual

Environment

/RV Continuum nach Milgram, 1994/

Technik 8

HWD-Techniken

Closed

• Die reale Welt ist nicht sichtbar

• Virtuelle Szenen werden ohne optischen Bezug zur Realität erzeugt

• Bewegungen des Betrachters können berücksichtigt werden

Tracker Video Szenen-

generator

Technik 9

HWD-Techniken

Video See Through

• Die reale Umgebung wird über eine oder zwei Kameras aufgenommen

• Position und Blickrichtung des Betrachters werden erfasst

• Eine Ansicht eines virtuellen Objektes wird in Abhängigkeit davon generiert

• Diese Ansicht wird mit dem Video kombiniert

nach /Azuma 1997/

Video der

realen Welt

Kombination von

Video und

virtueller Szene

Tracker Position und Blickrichtung

Videokameras

Reale Welt

Ergänztes Video

Bild Anzeige

Szenen-

generator

Technik 10

HWD-Techniken

Optical See Through

• Die reale Umgebung wird durch eine transparente Anzeige betrachtet

• Position und Blickrichtung des Betrachters werden erfasst

• Eine Ansicht eines virtuellen Objektes wird in Abhängigkeit davon generiert

• Diese Ansicht wird auf die halbtransparente Anzeigefläche projiziert

Szenen-

generator Head

Tracker

Position und Blickrichtung Bild

Reale Welt

Optische Erweiterung der Realität

nach /Azuma 1997/

Beispiele 11

Smart Glasses – Beispiel

Google Glass

= Smartphone in neuer Form

Funktionen

• Fotos und Videos aufnehmen

• Navigation

• Nachrichten schreiben/sprechen

Interaktion

• Touch Interface

• Spracheingabe

• Gesten

Voraussetzung: Verbindung mit einem Smartphone

Vorteil: Die Hände sind frei

/Google Glass 1/

Beispiele 12

/Google Glass, MovGP0/

Smart Glasses – Beispiel

Google Glass

/Google Glass Video/

Beispiele 13

VR-Brille – Beispiel

Oculus Rift

/Wikipedia, Oculus Rift/

/Wikipedia, Oculus Rift, Front/

/Wikipedia, Oculus Rift, Back/

Beispiele 14

VR-Brille – Beispiel

Oculus Rift

Funktionen

• Nahezu verzögerungsfreies Tracking des Kopfes durch eine

intertiale Messeinheit

• Stereoskopische Wiedergabe und großer Blickwinkel (ca. 100°)

sehr guter 3D-Eindruck

• Leicht und bequem tragbar

Anwendungen

• 3D-Spiele

• VR-Anwendungen mit hoher Immersion

Die Umgebung nicht visuell wahrnehmbar

Beispiele 15

Video See Through – Beispiel

VUZIX Wrap 1200DXAR

Ausstattung

• Stereo-Kamera zur Aufnahme der

Realität

• Tracking des Kopfes über eine

intertiale Messeinheit

• Stereo-Anzeige

Allgemeine Eigenschaften eines VST:

• Videobild und Ansicht des virtuellen Modells aus dem Szenengenerator müssen

synchronisiert werden

• sowohl Videobild als auch VR-Bild sind in ihrer Auflösung begrenzt

• Der Offset zwischen Kamera und Augenposition wirkt sich auf die Anzeige aus

/Photo: Peter Meyer, Jade Hochschule Oldenburg/

Beispiele 16

Optical See Through – Beispiel

Entwicklung des Fraunhofer COMEDD (2012)

Allgemeine Eigenschaften eines OST:

• nur das virtuelle Modell muss angezeigt werden, die Realität wird direkt und ohne

Einschränkung der Auflösung gesehen

• die absolute Position eines virtuellen Objektes im Realraum kann nicht nachjustiert

werden

/Fraunhofer: Forschung kompakt 11/2012 /

Prinzip

• OLED-Display

zur Bildanzeige (stereo)

• integrierte Photodioden als

„Kamera“

Augenbewegungen werden

erfasst und zur Interaktion

verwendet

Beispiele 17

Einordnung der vorgestellten Beispiele

Video See

Through

Optical See

Through

monokular

binokular

Closed

Beispiele 18

Head-Up Display

Informationen werden in die Frontscheibe projiziert,

z.B. Infos zur

• eigenen Position

• Navigation

• aktuellen

Geschwindigkeit

• erlaubten

Geschwindigkeit

• …

Bild aus: http://www.media-schmid.de/downloads/projektionstechniken.pdf/

Tracking 19

Trackingmethoden

nach /Bostanci et al., 2010/

im Freien

in Gebäuden

Vision-based

markerbasiert

modellbasiert

Beschleunigungssensoren Neigungssensoren

Inertiale Messeinheit

Fusion

Tracking 20

• Der Marker wird im Kamerabild erkannt

• Aus der perspektivischen Verzerrung wird die Position der Kamera im

Marker-Koordinatensystem

ermittelt

AR mit Vision-basiertem Tracking

/Foto: Tobias Theuerkauff, Jade Hochschule Oldenburg/

markerbasiert

• Virtuelle Objekte werden

an den Markern

ausgerichtet

• auch 3D-Marker können

eingesetzt werden

Tracking 21

• Das Videobild wird mit einem Referenzmodell abgeglichen

• Die Kameraposition wird in Bezug auf das Modell ermittelt

Vision-basiertes Tracking

Modellbasiert

• Aus mehreren Bildern aus unterschiedlichen Perspektiven werden 3D-Punkte

ermittelt

• Aus den 3D-Punkte werden Oberflächen gebildet

In einer unbekannten Umgebung können Oberflächen erkannt und bei der

Bearbeitung virtueller Objekte berücksichtigt werden.

Studentische Projekte 22

Studentische Projekte:

AR mit markerbasiertem Tracking

Mobile Anwendung von AR im Building Information Modelling

/Masterprojekt Glenewinkel, Brühl, WS 12/13/

• bisher: Tablet-Anwendung

• künftig: AR-Brille?

Anzeige von

nicht sichtbaren Installationen wie Strom-

und Wasserleitungen, Konstruktion, …

AR-Brille und Gestensteuerung

• Markerbasiertes Tracking

• Interaktion über Gestensteuerung

• AR-Brille VST

/Masterarbeit Radischat 2013/

Betreuung: M.Weisensee

Augmented Reality mit HMD

Präzises Positionierung

virtueller Objekte

im Realraum

Head Mounted Display und optisches Tracking

• Position und Blickrichtung des Betrachters werden in Echtzeit getrackt

• Die Anzeige der virtuellen Szene wird an die Bewegung des Betrachters

angepasst

/Fotos: Peter Meyer, Jade Hochschule Oldenburg/

/Masterprojekt Benke, Riegel, WS 13/14/

• präzises optisches Trackingsystem (Stereokamera)

• HMD mit 3D-Lokator

Technik

Betreuung:

Th. Luhmann,

I. Jaquemotte

Funktionen des Systems

Prototyp

Head Mounted Display und optisches Tracking

Folgeprojekt

/Photo: Peter Meyer, Jade Hochschule Oldenburg/

/Masterprojekt Herbord, Szeliga, Tolzin WS 14/15/

Aufgaben

• Genauigkeitsuntersuchung

• Kalibrierung

Fazit 27

Getrieben durch die Entwicklung mobiler Endgeräte:

• Anzeigegeräte, Sensoren und Recheneinheiten werden immer kleiner

und technisch ausgereifter

• Methoden des Tracking und der Echtzeit-Objektrekonstruktion werden

immer leistungsfähiger und zunehmend echtzeitfähig

• Durch neue Interaktionsmethoden wird die Gebrauchstauglichkeit

laufend verbessert

Noch ist die Gebrauchstauglichkeit

von Google Glass und Co. eingeschränkt

Professionelle Anwendungen

mit Head-Worn Displays werden kommen!

Ausblick

Künftig: Visualisierung von Planungsvarianten

mit HWD?

Beispiel: Planung von Windenergieanlagen

Head-Worn Displays –

Mehr sehen durch die Datenbrille ?

Quellen

Quellenangaben

/Google Glass, MovGP0/ „Google Glass“ von — MovGP0 - selbst erstellt mit Inkscape. Über Wikipedia -

http://de.wikipedia.org/wiki/Datei:Google_Glass.svg#mediaviewer/File:Google_Glass.svg

/Azuma, 1997/ Azuma, Ronald T. (1997): A Survey of Augmented Reality. In: Presence: Teleoperators and Virtual Environments 6

(4), S. 355–385. Online verfügbar unter http://www.cs.unc.edu/~azuma/ARpresence.pdf, zuletzt geprüft am 31.10.14.

/Bostanci et al., 2010/ Bostanci, Erkan; Kanwal, Nadia; Ehsan, Shoaib; Clark, Adrian F. (2013): User Tracking Methods for

Augmented Reality. In: International Journal of Computer Theory and Engineering 5 (1), S. 93–98, zuletzt geprüft am 31.10.14.

/Google Glass 1/ "Google Glass detail" by Antonio Zugaldia - http://www.flickr.com/photos/azugaldia/7457645618. Licensed under

Creative Commons Attribution 3.0 via Wikimedia Commons -

http://commons.wikimedia.org/wiki/File:Google_Glass_detail.jpg#mediaviewer/File:Google_Glass_detail.jpg

/Google Glass Video/ http://www.youtube.com/watch?v=F_DsUl_vqvo&feature=player_detailpage

/RV Continuum nach Milgram, 1994/ Milgram, Paul; Takemura, Haruo; Utsumi, Akira; Kishino, Fumio (1994): Augmented Reality: A

Class Of Displays on The Reality-Virtuality-Continuum. In: SPIE Vol. 2351, Telemanipulator and Telepresence Technologies,

1994, Bd. 2351. Online verfügbar unter http://etclab.mie.utoronto.ca/people/paul_dir/SPIE94/SPIE94.full.html, zuletzt geprüft am

31.10.14.

/Sutherland, 1968/ Sutherland, I.E : A Head -Mounted Three-Dimensional Display, AFIPS Conference Proceedings, Vol. 33, Part I,

1968, pp./757-764

/Wikipedia, Oculus Rift/ "Orlovsky and Oculus Rift" by Sergey Galyonkin from Kyiv, Ukraine - Orlovsky and Oculus RiftUploaded by

Yakiv Gluck. Licensed under Creative Commons Attribution-Share Alike 2.0 via Wikimedia Commons -

http://commons.wikimedia.org/wiki/File:Orlovsky_and_Oculus_Rift.jpg#mediaviewer/File:Orlovsky_and_Oculus_Rift.jpg

/Wikipedia, Oculus Rift, Back/ Oculus Rift - Developer Version - Back" by Sebastian Stabinger - Own work. Licensed under

Creative Commons Attribution 3.0 via Wikimedia Commons - http://commons.wikimedia.org/wiki/File:Oculus_Rift_-

_Developer_Version_-_Back.jpg#mediaviewer/File:Oculus_Rift_-_Developer_Version_-_Back.jpg

/Wikipedia, Oculus Rift, Front/ "Oculus Rift - Developer Version - Front" by Sebastian Stabinger - Own work. Licensed under

Creative Commons Attribution 3.0 via Wikimedia Commons - http://commons.wikimedia.org/wiki/File:Oculus_Rift_-

_Developer_Version_-_Front.jpg#mediaviewer/File:Oculus_Rift_-_Developer_Version_-_Front.jpg

Head-Worn Displays Mehr sehen durch die Datenbrille · 2014-11-26 · Einführung 6 Virtual Reality...

Documents