Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten,...

transcript

Virtuelle Welten, Erweiterte Realitäten und

ihre Anwendung in der Medizin

Uli Bockholt

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung in der Medizin 17. Oktober 2002

BestPractice Seminar "Immersive Trainingssysteme in der Medizin“ 2

Abteilung “Visualisierung und Virtuelle Realität”

Technisch Wissenschaftliche Visulaisierung

Virtuelle Realität Augmented Reality(Erweiterte Realität)

??? Virtual Reality ???

Zitate:

The primary defining characteristic of VR is inclusion; being surrounded by an environment. VR places the participant inside information.

W. Bricken, HIT Lab

Indeed, in the ultimate display one will not look at that world through a window, but will be immersed in it.

Ivan Sutherland, 1966

If I turn my head and nothing happens, it ain´t VR!Steve Bryson, NASA Ames

Was ist „Virtual Reality“?

Warum VR?

Ich höre Ich vergesse

Ich sehe Ich erinnere mich

Ich probiere etwas aus Ich verstehe

Chinesisches Sprichwort

VR Technology

Just say no!

Trend: IPT (immersive projection technology)

Workbench

Stereoprojektion

Erste VR-Applikationen: Architektur und Design

Ein öffentlich zugängliches Erlebniszentrum mit Technologien der virtuellen und erweiterten Realität.

Die Besucher sollen mit Spaß

- die Faszination neuer Medientechnologien erleben

- attraktive Wissensinhalte auf neue Weise erfahren

- und durch wechselnde, außergewöhnliche Attraktionenimmer wieder angeregt werden.

Cybernarium Darmstadt

23. – 28. Januar 2002

Centralstation, Darmstadt

15 Attraktionen,18 Sponsoren5 Monate Planung

10.000 Besucher in der schätzungsweise nochmal soviele, die nicht reinkamen

Ausstellung

Wartezeiten bis zu 3 Stunden, teilweise vor dem Einlaß campierende Besucher

Cybernarium Days

Die logische Erweiterung von „Virtual Reality”

Augmented Reality verstärkt die Wahrnehmung der Realität

? Kombination realer und virtueller Objekte

? Echtzeit-Interaktion

? 3D-Registrierung

Was ist „Augmented Reality“ (AR)?

Augmented Reality („Erweiterte Realität“)

... steht für:

Präsentation von Informationen im Sichtfeld des Betrachters und in Überlagerung mit der Realität

Eine Kombination aus:

- Semi-transparent displays

- Tracking

- wearable Computer und Telekommunikation

- Interaktion mit realen und virtuellen Gegenständen und Informationen

eine Technologie, die sich weltweit im Pionierstadium befindet,

Augmented Reality

Displays: interessante Trends

MicroOptical: hohe Akzeptanz Microvision: mit dem Laser direkt auf die Netzhaut (sehr hell)

Reales Umfeld

Virtuelles Umfeld

AugmentedReality

VirtualReality

MixedReality

„Synergie von Virtueller und Erweiterter Realität“

Several classes of existing hybrid display environments can be found, which could reasonably be considered to constitute MR interfaces according to the ‘virtuality continuum’

Paul Milgram(Univ. of Toronto)

Mixed Reality

?Mixed Reality Systeme ? in der Medizin

?Chirurgische ?Ausbildung

?Rechnergestützte?Diagnostik

?Praeoperative ?Planung

?Intraoperative?Unterstützung

Mixed Reality in der Medizin

Computergraphik

Chirurgie

? offen minimal invasiv

2D Interaktion ?3D Interaktion

Paradigmenwechsel

?Entscheidungs-?findung

?Handhabung

?Chirurgischer ?Ansatz

Anatomie

?Geschicklichkeit?. . .

Chirurgische Fertigkeiten

? Training an Plastikmodellen

? Training an Tieren

? Training an Leichen

? „Learning by doing“

Chirurgisches Training ...

Idee: VR basiertes Trainigssystem

? Realistische Repräsentation deranatomischen Strukturen

? Intuitive Handhabung der Instrumente

? Realistische Repräsentation deschirurgischen Equipments

? 3D Interaktion

? Echtzeit Simulation

Anforderung

Simulation

VR Training System

Teilaufgaben

Modellierung mit Hilfe der Konstruktionspläne

Chirurgische Instrumente

Registrierung der Bewegungen mittels Trackingsystem (z.B. elektromagnetischGenauigkeit)Position: ~1.2 mmOrientierung: ~ 0.5 °

Simulation Chirurgischer Instrumente

?Endoskop ? Untersuchen

?Zange ?Deformierung

?Schere ? Schneiden

Verschiedenartige Funktionalitäten

0° Optik 12° Optik 30° Optik

Interaktionmittels derOriginal

-handgriffe

3D Interaktion

Virtueller Situs

Anatomie

Morphologie

Physiologie

Biomechanik

Histologie

Virtuelle Anatomische Strukturen

Datenakquisition

?Vorverarbeitung

?Segmentierung

?Gittergenerierung

?Reduzierung

Scanning

Bilddaten

?gefilterte Bilddaten

?Konturen

?Polygonale Modelle

3D Rekonstruktion

Generierung virtuelle anatomische Strukturen

Schritt 1:Geometrie-rekonstruktion

Schritt 2:Rekonstruktion Der Oberflächen-beschaffenheit

Homogenisierung

Komposition mit Hilfe von Kacheln

Kantenglättung

Endoskopische Videoaufnahmen

Bildvorverarbeitung

Generierung einer geeigneten Auflösung

Texturmapping

Texturgenerierung

?Tracking

Deformieren

?Rendern

Kollisionsdetektion

Schneiden

Rendering Loop

Kantenmodelle derInstrumente

? Nur Instrumentspitzen sind berücksichtigt

? Nur äußere Kanten

Basis Test:

Kante versus Dreieck

Kollisionsdetektion

Ansatz A:

Stosswichtende Funktion

Ansatz B:

Feder-Masse Sysem

Deformierungssimulation

? ? ? ? ??

???iNj

ijii FFtxutxum ,, ??? ?

Verwendung von “Templates”

Simulation von Schneidevorgängen

Berechnung Kraftvektor

?.Kraftvektorzerlegung

Tracking

?Haptisches Rendering

Kollisionsdetektion

Simulation von Haptik

? Endoskopischen Fenster? Übersichtsfenster? Kollisionsstatistik? Mpeg? Selektion der Optik

2D Benutzungsschnittstelle

NasalEndoscopy

Simulator(NES)

Rhinoskopie

Virtual Reality

Arthroscopy TrainingSimulator(VRATS)

Arthroskopie

Virtual Reality

Arthroscopy TrainingSimulator(VRATS)

Arthroskopie

Hysteroskopie

LAHYSOTRAIN

Laparoskopie/HysteroskopieTrainingssystem

?Rechnergestützte Diagnostik

PatientenspezifischeBiomechanik

Simulation von Bewegungs-

abläufen

Simulation von Spannungs-verteilungen

Simulation von Strömungen

Simulation von Deformierungs-

verhalten

verhalten ......

abläufen

verhalten

verhalten ......

Tomographiedaten Experimentelle Untersuchungen

FEM Software

Diagnostisches Ablaufdiagramm

Geometry Nasenkanal Simulationsgitter

Visualisierungs-komponente

Gittergenerierung

Strömungssim

ulation

CT Schichten

abläufen

verhalten

verhalten ......

Simulation von Belastungsverteilungen auf Bandscheibe und Wirbelkörper

abläufen

verhalten

verhalten ......

Generierung von

? 3D-Objekt des Oberkiefers ? 3D-Objekt des Unterkiefers? 3D-Objekt des Bißregistrats ? 3D-Objekt des Referenzpunkt-systems

? 3D Streifenprojektionsscan ? 2,5 D Laserscan

Visualisierung Okklusionen

Statische Visualisierung der Okklusionen (Akkumulierend)

Dynamische Visualisierung der Okklusionen

abläufen

verhalten

verhalten ......

Simulation von Gewebedeformierungen am Beispiel des Meniskus

?PraeoperativePlanung

Robotergestützte Chirurgie

Möglichkeiten:

? Auswahl des geeignetenImplantats

? Platzierung des Implantats

? Navigation durch die Patientendaten

? Definition von Planungsschritten

? Praxistaugliche Planungszeiten

Benutzungs-oberflächeRobotik

Komponente

Patienenspezifische Bilddaten

ImplantatModelle

Planungs-System

Operationsplanung zur robotergestützten Chirurgie

Selektion der geeigneten Prothese und Platzierung im Datensatz

Planungssystem Knieprothese

Planungssystem Wirbelsäulenchirurgie

Selektion und Platzierung von Pedikelschrauben

?Intraoperative Operations-

unterstützung

Intraoperative Operationsunterstützung

Teilaufgaben:

? Registrierung der Patientin bzw. des Patienten? Tracking von chirurgischen Instrumenten im Körperinneren? Darstellung auf 2D Schnittbildern (CT, US, MRI etc.)? 3D Volumendarstellung

Anwendungsbeispiel:

? Überlagerung von praeoperativen Daten

AR in der Medizin

Preoperative Tomography Scans

Tracking of the instruments

Virtueller Situs

Intraoperative Sensors

Augmented Reality Visualisation

AR in der Medizin

? Datenerhebung: Erfassung relevanter Bereiche des Patienten,ggf. Fusion multimodaler Verfahren

? Registrierung: Räumliche 3D-Verbindung des realen unddes virtuellen Patienten

? Tracking: Patiententracking, InstrumententrackingDisplaytracking, Chirurgtracking

? Visualisierung: Kombinierte Visualisierung von realen Patientendaten und rechnergenerierten Daten

? Interaktion: Intuitiver Datenzugriff unter Einbeziehung multimodaler Technologie

AR in der Medizin

-AR-UROLO - Augmented Reality System für die Urologie

Echtzeitbildverarbeitung und Überlagerung von Endoskopiebildern

AR in der Medizin

-ERIAS – Enhaced Reality Integration in Robot-Assisted endoscopic Surgery

? Navigationsunterstützung? Zuwegplanung? Überlagungs von

Planungsergebnissen? Simulation? Registrierung

AR in der Medizin

Demonstrator MEDICA 2001

? Überlagerung von MR Daten auf den Patienten

? Echtzeitregistrierung? 3D Rekonstruktion? Volumenrendering? Hybrides Rendering

Zusammenfassung

„Mixed Realities“ schaffen neue, visionäre Möglichkeiten in folgenden medizinischen Bereichen

? Chirurgische Ausbildung 3D Anatomieatlanten, VR Trainingssimulatoren

? Rechnergestützte DiagnostikBiomechanische Simulationen, Virtuelle Endoskopie

? OperationsplanungRobotergestützte Chirurgie, Therapieplanung

? Intraoperative OperationsunterstützungNavigationsunterstützung, Erweitertes Chirurgisches Blickfeld

Virtuelle Welten, Erweiterte Realitäten und ihre Anwendung ... · Rhinoskopie. Virtuelle Welten,...

Documents