www.d3webtrain.de 1 d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizin d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizin erausbildung an der Medizinischen Poliklinik der Universität Würzbu erausbildung an der Medizinischen Poliklinik der Universität Würzbu rg rg d3web.Train: Erste Evaluationsergebnisse zum d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburg Medizinischen Poliklinik der Universität Würzburg und München und München Stanislaus Reimer Stanislaus Reimer 1 , Christian Kneitz , Christian Kneitz 1 , Hans-Peter Tony , Hans-Peter Tony 1 , Stefan Schewe , Stefan Schewe 2 , Alexander Hörnlein Alexander Hörnlein 3 , Frank Puppe , Frank Puppe 3 1 Medizinische Poliklinik der Universität Würzburg, Schwerpunkt Rheumatologie und klinische Medizinische Poliklinik der Universität Würzburg, Schwerpunkt Rheumatologie und klinische Immunologie, Klinikstrasse 6-8, 97070 Würzburg Immunologie, Klinikstrasse 6-8, 97070 Würzburg 2 Medizinische Poliklinik der Universität München, Pettenkoferstr. 8a, 80336 München Medizinische Poliklinik der Universität München, Pettenkoferstr. 8a, 80336 München 3 Lehrstuhl für Informatik VI, Universität Würzburg, Am Hubland, 97074 Würzburg Lehrstuhl für Informatik VI, Universität Würzburg, Am Hubland, 97074 Würzburg Die Arbeiten wurden vom BMBF im Verbundprojekt CASEPORT (01NM111E) gefördert. Die Arbeiten wurden vom BMBF im Verbundprojekt CASEPORT (01NM111E) gefördert.
Transcript
www.d3webtrain.de
11d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
d3web.Train: Erste Evaluationsergebnisse d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität der Medizinischen Poliklinik der Universität Würzburg und MünchenWürzburg und München
Stanislaus ReimerStanislaus Reimer11, Christian Kneitz, Christian Kneitz11, Hans-Peter Tony, Hans-Peter Tony11, Stefan Schewe, Stefan Schewe22,,Alexander HörnleinAlexander Hörnlein33, Frank Puppe, Frank Puppe33
11 Medizinische Poliklinik der Universität Würzburg, Schwerpunkt Rheumatologie und Medizinische Poliklinik der Universität Würzburg, Schwerpunkt Rheumatologie und klinische Immunologie, Klinikstrasse 6-8, 97070 Würzburgklinische Immunologie, Klinikstrasse 6-8, 97070 Würzburg22 Medizinische Poliklinik der Universität München, Pettenkoferstr. 8a, 80336 München Medizinische Poliklinik der Universität München, Pettenkoferstr. 8a, 80336 München33 Lehrstuhl für Informatik VI, Universität Würzburg, Am Hubland, 97074 Würzburg Lehrstuhl für Informatik VI, Universität Würzburg, Am Hubland, 97074 Würzburg
Die Arbeiten wurden vom BMBF im Verbundprojekt CASEPORT (01NM111E) gefördert.Die Arbeiten wurden vom BMBF im Verbundprojekt CASEPORT (01NM111E) gefördert.
www.d3webtrain.de
22d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
d3webd3web
ist u.a. ein Autorenwerkzeug zur Entwicklung fall- und wissensbasierter ist u.a. ein Autorenwerkzeug zur Entwicklung fall- und wissensbasierter Trainingssysteme zur Vermittlung von medizinischem Wissen anhand Trainingssysteme zur Vermittlung von medizinischem Wissen anhand klinischer Fälle.klinischer Fälle.
d3web.Traind3web.Train
-ist eine Neu- und Weiterentwicklung des D3 Trainers mit ist eine Neu- und Weiterentwicklung des D3 Trainers mit WebfunktionalitätWebfunktionalität
-präsentiert fallbezogene Symptome und Befunde, bewertet die präsentiert fallbezogene Symptome und Befunde, bewertet die diagnostischen Überlegungen des Benutzers und stellt diagnostischen Überlegungen des Benutzers und stellt Hintergrundwissen und Expertenmeinungen zur VerfügungHintergrundwissen und Expertenmeinungen zur Verfügung
-ist für verschiedene Zielgruppen schnell und individuell adaptierbar.ist für verschiedene Zielgruppen schnell und individuell adaptierbar.
KurzbeschreibungKurzbeschreibung
www.d3webtrain.de
33d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
fallunabhängiges Wissen in Form von fallunabhängiges Wissen in Form von ontologischem, strukturellem und strategischem ontologischem, strukturellem und strategischem Wissen und multimedialen InhaltenWissen und multimedialen Inhalten
d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
44
www.d3webtrain.deTrainingssystemTrainingssystem
Fallinformationen und Anamnese-ErhebungFallinformationen und Anamnese-Erhebung
d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
55
www.d3webtrain.deTrainingssystemTrainingssystem
Klinische Untersuchung mit BewertungKlinische Untersuchung mit Bewertung
d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
66
www.d3webtrain.deTrainingssystemTrainingssystem
Laborchemische sowie technische Untersuchungen mit Berücksichtigung des Laborchemische sowie technische Untersuchungen mit Berücksichtigung des KostenfaktorsKostenfaktors
www.d3webtrain.de
77d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
88d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
TrainingssystemTrainingssystemAbschließende Bewertung, Kritikpunkte und allgemeine Abschließende Bewertung, Kritikpunkte und allgemeine
Hintergrundinformationen zum FallHintergrundinformationen zum Fall
www.d3webtrain.de
99d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
Erstellung der rheumatologischen WissensbasisErstellung der rheumatologischen Wissensbasis
- Dauer ca. 4 Monate (01/02-04/02)Dauer ca. 4 Monate (01/02-04/02)wöchentliche Zeitinvestition 5-7 Stundenwöchentliche Zeitinvestition 5-7 Stunden
- Abdeckung der häufigsten rheumatologischen ErkrankungenAbdeckung der häufigsten rheumatologischen Erkrankungen
- Zusammensetzung der Wissensbasis:Zusammensetzung der Wissensbasis:- 90 Frageklassen, die 131 Fragen nach Symptomen und Befunden 90 Frageklassen, die 131 Fragen nach Symptomen und Befunden
enthalten.enthalten.- Die Diagnose-/Therapiehierarchie bestand aus 84 Die Diagnose-/Therapiehierarchie bestand aus 84
Diagnosen/TherapienDiagnosen/Therapien
Erstellung der FälleErstellung der Fälle
- 5 echte klinische Fälle aus der rheumatologischen Ambulanz5 echte klinische Fälle aus der rheumatologischen Ambulanz
Aufwand für AutorAufwand für Autor
www.d3webtrain.de
1010d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
- im SSim SS 2003 im Pflichtkurs der Inneren Medizin2003 im Pflichtkurs der Inneren Medizin
- in kleinen Gruppen (max. 3 Studenten bei Fortgeschrittenen und max. in kleinen Gruppen (max. 3 Studenten bei Fortgeschrittenen und max. 6 Studenten bei Anfängern)6 Studenten bei Anfängern)
- Insgesamt 41 Studenten in 2 GruppenInsgesamt 41 Studenten in 2 Gruppen- freiwillige Studenten der Universitäten Würzburg und München mit freiwillige Studenten der Universitäten Würzburg und München mit
externem Zugriff auf das Programm ohne Anleitung (N=17)externem Zugriff auf das Programm ohne Anleitung (N=17)- Studenten im Pflichtkurs der Inneren Medizin mit Anleitung an der Studenten im Pflichtkurs der Inneren Medizin mit Anleitung an der
Medizinischen Poliklinik der Universität Würzburg (N=24)Medizinischen Poliklinik der Universität Würzburg (N=24)
- Als Fragebogen diente CASEPORT-BewertungsbogenAls Fragebogen diente CASEPORT-Bewertungsbogen
- Bei allen Fragen hatten die Studenten 5 Antwortmöglichkeiten, die den Bei allen Fragen hatten die Studenten 5 Antwortmöglichkeiten, die den Schulnoten von 1-5 entsprachenSchulnoten von 1-5 entsprachen
- Unterteilung in 3 Blöcke:Unterteilung in 3 Blöcke:Fragen zum Anwender, Fragen zum Fall, Fragen zum SystemFragen zum Anwender, Fragen zum Fall, Fragen zum System
EvaluationEvaluation
www.d3webtrain.de
1111d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
- Technik allgemein: „Das Programm bereitet keine technischen Technik allgemein: „Das Programm bereitet keine technischen Probleme”Probleme”
- User InterfaceUser Interface- Design: „Die optische Gestaltung des Programms ist ansprechend“Design: „Die optische Gestaltung des Programms ist ansprechend“- Bedienung: „Das Programm ist einfach zu bedienen“Bedienung: „Das Programm ist einfach zu bedienen“- Navigation: „Die Navigation war problemlos möglich“Navigation: „Die Navigation war problemlos möglich“
- Wissenserwerb: „Das Programm hat mir neue Kenntnisse vermittelt“Wissenserwerb: „Das Programm hat mir neue Kenntnisse vermittelt“
- Allgemeine BewertungAllgemeine Bewertung- Empfehlung: „Das Lernprogramm kann man weiterempfehlen“Empfehlung: „Das Lernprogramm kann man weiterempfehlen“- Nutzung in Zukunft: „Ich möchte weiterhin mit dem Programm Nutzung in Zukunft: „Ich möchte weiterhin mit dem Programm
arbeiten“arbeiten“- Spaß: „Das Lernen mit dem Programm hat Spaß gemacht“Spaß: „Das Lernen mit dem Programm hat Spaß gemacht“
- Gesamtnote: „Aus meiner Sicht ist das Lernprogramm insgesamt {sehr - Gesamtnote: „Aus meiner Sicht ist das Lernprogramm insgesamt {sehr gut, gut, mittelmäßig, schlecht, sehr schlecht}“gut, gut, mittelmäßig, schlecht, sehr schlecht}“
FragenFragen
d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
1212
www.d3webtrain.deErgebnisseErgebnisse
3,69
2,8
3,44 3,35
2,63
2,352,47
2,63
3,063,08
2,42
3,583,38
2,13
3,08 3,17
2,21
2,5
1
1,5
2
2,5
3
3,5
4
4,5
5
techn. Probleme
Optik
Bedienung
Navigation
Wissenserwerb
zukünftige Nutzung
weiterempfehlenSpass
Gesamtnote
Freiwillige Studenten (SS 2003; Unis Würzburg & München) mit externem Zugriff ohne Anleitung (N=17)
Studenten im Pflichtkurs der Inneren Medizin (SS 2003; Uni Würzburg) mit Anleitung (N=24)
www.d3webtrain.de
1313d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
Bewertung war eher positiv:Bewertung war eher positiv:
- 76% der Studenten bezeichneten den Fall und den angebotenen Inhalt als 76% der Studenten bezeichneten den Fall und den angebotenen Inhalt als angemessen schwerangemessen schwer
- 71% der Befragten fanden den Fall als geeignet für das Medizinstudium und 71% der Befragten fanden den Fall als geeignet für das Medizinstudium und ärztliche Fortbildung.ärztliche Fortbildung.
- Gut schneidet auch die Beurteilung der Qualität der Daten (Bilder, Texte) und Gut schneidet auch die Beurteilung der Qualität der Daten (Bilder, Texte) und Programmoptik ab.Programmoptik ab.
- Den meisten hat das Lernen mit d3web.Train Spaß gemachtDen meisten hat das Lernen mit d3web.Train Spaß gemacht(Pflichtkurs: 2,2 - Freiwillige: 2,6)(Pflichtkurs: 2,2 - Freiwillige: 2,6)
- Beim Wissenserwerb wird der subjektive Lerngewinn eher als groß bewertetBeim Wissenserwerb wird der subjektive Lerngewinn eher als groß bewertet(Pflichtkurs: 2,1 - Freiwillige: 2,6).(Pflichtkurs: 2,1 - Freiwillige: 2,6).
Verbesserungsbedarf:Verbesserungsbedarf:
- Für die Bedienung, Navigation und technische Probleme wurden insgesamt Für die Bedienung, Navigation und technische Probleme wurden insgesamt schlechtere Noten vergeben, die alle über 3,0 lagen.schlechtere Noten vergeben, die alle über 3,0 lagen.
- Wenn die Studierenden eine Schulnote vergeben sollten, wäre diese Wenn die Studierenden eine Schulnote vergeben sollten, wäre diese Gesamtnote 2,5 im Pflichtkurs und 3,1 bei den Freiwilligen mit externem Gesamtnote 2,5 im Pflichtkurs und 3,1 bei den Freiwilligen mit externem Zugriff.Zugriff.
DiskussionDiskussion
www.d3webtrain.de
1414d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
Kritikpunkt: Bedienung und NavigationKritikpunkt: Bedienung und Navigation
www.d3webtrain.de
1515d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
- AktivAktiv- WizardWizard- Überwachtes Nachspielen eines DemofallesÜberwachtes Nachspielen eines Demofalles
- Best of both: gezielte Hinweise aufgrund BenutzermodellBest of both: gezielte Hinweise aufgrund Benutzermodell
- Änderung der DialogformÄnderung der Dialogform- Reduktion der Freiheitsgrade (Sequentialisierung der Aufgaben)Reduktion der Freiheitsgrade (Sequentialisierung der Aufgaben)
- Schrittweise Komplexitätssteigerung der DialogformSchrittweise Komplexitätssteigerung der Dialogform- Reduktion der Informationsdichte bei Fallpräsentation und AufgabenReduktion der Informationsdichte bei Fallpräsentation und Aufgaben
- Weniger Information (z.B. MC-Fragen statt Hierarchieauswahl)Weniger Information (z.B. MC-Fragen statt Hierarchieauswahl)- Andere Aufteilung der InformationAndere Aufteilung der Information
Kritikpunkt: Bedienung und NavigationKritikpunkt: Bedienung und Navigation
d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
1616
www.d3webtrain.de
- Verbesserung der Bedienung und NavigationVerbesserung der Bedienung und Navigation- Einbindung von HintergrundwissenEinbindung von Hintergrundwissen
- zur Recherchezur Recherche- mit fallbezogenen Kontrollfragen, z.B.mit fallbezogenen Kontrollfragen, z.B.
- Symptome Symptome Diagnosen Diagnosen- Prävalenz von DiagnosenPrävalenz von Diagnosen- Diagnosen Diagnosen Untersuchungen Untersuchungen- Diagnosen Diagnosen Therapien Therapien
d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
1717
www.d3webtrain.de
- Bewertung der verschiedenen optionalen ErweiterungenBewertung der verschiedenen optionalen Erweiterungen- Zusätzliche BilderZusätzliche Bilder- (Bild-)Befundung(Bild-)Befundung- TherapieauswahlTherapieauswahl- HintergrundwissenHintergrundwissen
- Vergleich verschiedener Präsentationsformen der PatientendatenVergleich verschiedener Präsentationsformen der Patientendaten- fortlaufender Textfortlaufender Text- TabellarischTabellarisch- Sonderformen (Nachbildung eines Laborzettels, Grafische Sonderformen (Nachbildung eines Laborzettels, Grafische
Darstellung von betroffenen Gelenken)Darstellung von betroffenen Gelenken)
- Vergleich erstmalige Nutzung gegen Routine-NutzungVergleich erstmalige Nutzung gegen Routine-Nutzung
- Vergleich von geführten Modus mit freiem ModusVergleich von geführten Modus mit freiem Modus
- Vergleich von wissensbasierten Fällen und solchen, die auf Vergleich von wissensbasierten Fällen und solchen, die auf annotierten Arztbriefen basierenannotierten Arztbriefen basieren
Geplante / zur Zeit laufende EvaluationGeplante / zur Zeit laufende Evaluation
d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
Objektive MaßeObjektive Maße• SystembeherrschungSystembeherrschung• Zeitlicher Aufwand pro FallZeitlicher Aufwand pro Fall• Lerneffekt (Fallbezogene Prüfungen)Lerneffekt (Fallbezogene Prüfungen)
Bewertung bezogen auf System und einzelne FeaturesBewertung bezogen auf System und einzelne Features
Abhängig von Benutzertypen und EinsatzszenarioAbhängig von Benutzertypen und Einsatzszenario
d3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildud3web.Train: Erste Evaluationsergebnisse zum Einsatz in der Medizinerausbildung an der Medizinischen Poliklinik der Universität Würzburgng an der Medizinischen Poliklinik der Universität Würzburg
