Methoden derPsychologie
Entwicklung einesOnline-Evaluationssystems
16. November 2005
Methoden derPsychologieÜberblick
• Block 1: Inhaltliches zur Lehrevaluation
• Was sind Kriterien guter Lehre
• Welche Urteilsverzerrungen und Biasvariablen gibt es bei der Lehrevaluation
• Erstellung einer Kurzbefragung zu Kriterien guter Lehre und Biasvariablen
Methoden derPsychologie
Heute: Biasvariablen
• Was sind Biasvariablen?
• Erstellen der Kurzbefragung
Überblick
Methoden derPsychologieDefinition
Variablen, die nicht mit dem Lehr- und Lernprozess
in Zusammenhang stehen, die jedoch systematisch
mit dem Antwortverhalten der Studierenden
kovariieren
Biasvariablen sind…..
Methoden derPsychologieBiasvariablen
Besuchsgrund
Interessantheit des ThemasSchwierigkeitsniveau
Arbeitsaufwand
Benotungsstrenge
Geschlecht und Alter
Popularität
Teilnehmerzahl / Klassengröße
Rhetorische Fähigkeiten
Leistungsniveau
Interesse
Persönlichkeitsmerkmale
Raumverhältnisse
Termin der Veranstaltung
Geschlecht und Alter
Persönlichkeitsmerkmale
DozentStudierende
UmgebungPotentielle Biasvariablen
Methoden derPsychologieBiasvariablen
Besuchsgrund
Interessantheit des ThemasSchwierigkeitsniveau
Arbeitsaufwand
Benotungsstrenge
Geschlecht und Alter
Popularität
Teilnehmerzahl / Klassengröße
Rhetorische Fähigkeiten
Leistungsniveau
Interesse
Persönlichkeitsmerkmale
Raumverhältnisse
Termin der Veranstaltung
Geschlecht und Alter
Persönlichkeitsmerkmale
DozentStudierende
UmgebungPotentielle Biasvariablen
Methoden derPsychologieBiasvariablen
Besuchsgrund
Interessantheit des ThemasSchwierigkeitsniveau
Arbeitsaufwand
Benotungsstrenge
Geschlecht und Alter
Popularität
Teilnehmerzahl / Klassengröße
Rhetorische Fähigkeiten
Leistungsniveau
Interesse
Persönlichkeitsmerkmale
Raumverhältnisse
Termin der Veranstaltung
Geschlecht und Alter
Persönlichkeitsmerkmale
DozentStudierende
UmgebungPotentielle Biasvariablen
Methoden derPsychologieBiasvariablen
Besuchsgrund
Interessantheit des ThemasSchwierigkeitsniveau
Arbeitsaufwand
Benotungsstrenge
Geschlecht und Alter
Popularität
Teilnehmerzahl / Klassengröße
Rhetorische Fähigkeiten
Leistungsniveau
Interesse
Persönlichkeitsmerkmale
Raumverhältnisse
Termin der Veranstaltung
Geschlecht und Alter
Persönlichkeitsmerkmale
DozentStudierende
UmgebungPotentielle Biasvariablen
Methoden derPsychologieBiasvariablen
Besuchsgrund
Interessantheit des ThemasSchwierigkeitsniveau
Arbeitsaufwand
Benotungsstrenge
Geschlecht und Alter
Popularität
Teilnehmerzahl / Klassengröße
Rhetorische Fähigkeiten
Leistungsniveau
Interesse
Persönlichkeitsmerkmale
Raumverhältnisse
Termin der Veranstaltung
Geschlecht und Alter
Persönlichkeitsmerkmale
DozentStudierende
UmgebungPotentielle Biasvariablen
Methoden derPsychologieBiasvariablen
• Münster 2003: Entwicklung eines Fragebogens für Vorlesungen und Seminare
• 9 Vorlesungen• 164 Studierende
Methoden derPsychologieBiasvariablen
• Besuchsgrund
• Persönliche Berufsrelevanz: „Die Inhalte scheinen mir für meinen späteren Beruf
irrelevant.“
• Vorinteresse: „Die Inhalte der Veranstaltung haben mich schon vor der Veranstaltung interessiert.“
• Prüfungsrelevanz: „Die Themen der Veranstaltung sind prüfungsrelevant.“
• Wenig Arbeitsaufwand: „Ich musste wenig Arbeit in diese Vorlesung investieren.“
• Sympathie: „Mir war das Auftreten der/des Lehrenden sympathisch.“
• Guter Ruf: „Der/Die Lehrende hat einen guten Ruf.“
Methoden derPsychologieBiasvariablen
Sympathie
Guter Ruf
Vorinteresse
Geringer Arbeitsaufwand
Persönliche Berufsrelevanz
Prüfungsrelevanz
Schulnote
Lernerfolg
Korrelationen zwischen .17 und .68
Methoden derPsychologieBiasvariablen
Sympathie
Guter Ruf
Vorinteresse
Geringer Arbeitsaufwand
Persönliche Berufsrelevanz
Prüfungsrelevanz
Schulnote
Lernerfolg
Korrelationen zwischen .17 und .68
.68
.56
Methoden derPsychologieBiasvariablen
Sympathie
Guter Ruf
Vorinteresse
Geringer Arbeitsaufwand
Persönliche Berufsrelevanz
Prüfungsrelevanz
Schulnote
Lernerfolg
Korrelationen zwischen .17 und .68
.66
.47
Methoden derPsychologieBiasvariablen
Sympathie
Guter Ruf
Vorinteresse
Geringer Arbeitsaufwand
Persönliche Berufsrelevanz
Prüfungsrelevanz
Schulnote
Lernerfolg
Korrelationen zwischen .17 und .68
.40
.43
Methoden derPsychologieBiasvariablen
Sympathie
Guter Ruf
Vorinteresse
Geringer Arbeitsaufwand
Persönliche Berufsrelevanz
Prüfungsrelevanz
Schulnote
Lernerfolg
Korrelationen zwischen .17 und .68
.43
.44
Methoden derPsychologieBiasvariablen
Struktur
Wahrgenomme-nes EngagementAngemessenheit des Niveaus
MediengestaltungRhetorik
Eingehen auf Studierende
Interessantheit und PraxisbezugErgänzende Materialien
.75
.73
.63
.61
.54
.73
.83
.24
Schulnote
Sympathie
Guter Ruf
Vorinteresse
Geringer Arbeitsaufwand
Persönliche Berufsrelevanz
Prüfungsrelevanz
Methoden derPsychologieBiasvariablen
Struktur
Wahrgenomme-nes EngagementAngemessenheit des Niveaus
MediengestaltungRhetorik
Eingehen auf Studierende
Interessantheit und PraxisbezugErgänzende Materialien
.75
.73
.63
.61
.54
.73
.83
.24
.62
.51
.56
.42
.28
.50
.69
.05
.63
.55
.59
.39
.24
.61
.69
.11
Sympathie
Guter Ruf
Methoden derPsychologieBiasvariablen
Struktur
Wahrgenomme-nes EngagementAngemessenheit des Niveaus
MediengestaltungRhetorik
Eingehen auf Studierende
Interessantheit und PraxisbezugErgänzende Materialien
.75
.73
.63
.61
.54
.73
.83
.24
72
.70
.54
.57
.55
.69
.80
.26
.71
.68
.56
.59
.49
.69
.78
.23
.62
.51
.56
.42
.28
.50
.69
.05
.63
.55
.59
.39
.24
.61
.69
.11
Sympathie
Guter Ruf
Vor-interesse
Persönl. Berufsrelev
.
Methoden derPsychologieBiasvariablen
Struktur
Wahrgenomme-nes EngagementAngemessenheit des Niveaus
MediengestaltungRhetorik
Eingehen auf Studierende
Interessantheit und PraxisbezugErgänzende Materialien
.75
.73
.63
.61
.54
.73
.83
.24
72
.70
.54
.57
.55
.69
.80
.26
.71
.68
.56
.59
.49
.69
.78
.23
.49
.36
.47
.30
.18
.42
.51
.02
.36
.62
.51
.56
.42
.28
.50
.69
.05
.63
.55
.59
.39
.24
.61
.69
.11
Sympathie
Guter Ruf
Vor-interesse
Persönl. Berufsrelev
.
Methoden derPsychologieBiasvariablen
Spiel & Gössler (2000)• Fachbereiche der Universität Wien
– Juristen– Theologen– Medizin– Geisteswissenschaften– Formal- und Naturwissenschaften– Sozial- und Wirtschaftswissenschaften– Grund- und Integrativwissenschaften
• 20 zufällig ausgewählte Studierende pro Lehrveranstaltung
• Insgesamt 756 Studierende und 66 Lehrveranstaltungen aus 15 Fachbereichen
Methoden derPsychologieBiasvariablen
REGRESSIONSANALYSE
• Kriterium: Gesamtbeurteilung der Lehrveranstaltung – „Ich gehe gern in die LV.“– „Ich möchte mich weiterhin mit diesem Thema
auseinandersetzen.“ – „Ich engagiere mich in dieser LV mehr als sonst.“ – „Ich würde die LV weiterempfehlen.“
• Prädiktoren: Biasvariablen
Methoden derPsychologieBiasvariablen
Anzahl Studieren
de
Multiples R
Adjustiertes R2
F-Wert p-Wert
Gesamtstich-probe
755 .600 .351 41.81 <.001
Vorlesung - Grundstudium
234 .724 .502 24.62 <.001
Vorlesung - Hauptstudium
155 .693 .444 13.38 <.001
Seminar – Grundstudium
206 .585 .309 10.22 <.001
Seminar - Hauptstudium
132 .423 .111 2.65 .006
Methoden derPsychologieBiasvariablen
Anzahl Studieren
de
Multiples R
Adjustiertes R2
F-Wert p-Wert
Gesamtstich-probe
755 .600 .351 41.81 <.001
Vorlesung - Grundstudium
234 .724 .502 24.62 <.001
Vorlesung - Hauptstudium
155 .693 .444 13.38 <.001
Seminar – Grundstudium
206 .585 .309 10.22 <.001
Seminar - Hauptstudium
132 .423 .111 2.65 .006
Methoden derPsychologieBiasvariablen
Geschlecht des/r StudierendenGeschlecht des/r Dozenten
Alter des/r Dozenten
Anwesenheit
Termin
Besuchsgrund
Interesse
Arbeitsaufwand
Raumverhältnisse
Größe der Studienrichtung
.52*** .63*** .65***
GesamtVorlesung - Grundstudium
Vorlesung - Hauptstudium
.13***
.09**
-.09*
.08*
.15**
.13*
-.11*
.12*
R2 = .351 R2 = .502 R2 = .444
Methoden derPsychologieBiasvariablen
Geschlecht des/r StudierendenGeschlecht des/r Dozenten
Alter des/r Dozenten
Anwesenheit
Termin
Besuchsgrund
Interesse
Arbeitsaufwand
Raumverhältnisse
Größe der Studienrichtung
.52*** .52*** .10
GesamtSeminar - Grundstudium
Seminar- Hauptstudium
.13***
.09**
-.09*
.08*
.19***
-.24**
R2 = .351 R2 = .309 R2 = .111
-.41***
Methoden derPsychologieBiasvariablen
Geschlecht des/r StudierendenGeschlecht des/r Dozenten
Alter des/r Dozenten
Anwesenheit
Termin
Besuchsgrund
Interesse
Arbeitsaufwand
Raumverhältnisse
Größe der Studienrichtung
.52*** .46*** .60***
Gesamt JuristenNaturwissen-schaften
.13***
.09**
-.09*
.08*
-.14*
R2 = .351 R2 = .26 R2 = .54
.21***
Semesterzahl:
-.24**-.22**
Methoden derPsychologieBiasvariablen
INTERPRETATION
• Interesse:– Vorinteresse (Bias)– Im Laufe der Lehrveranstaltung gewecktes Interesse
(kein Bias)
• Sympathie:– Sympathie bestand bereits vor der Veranstaltung (Bias)– Im Laufe der Lehrveranstaltung geweckte Sympathie
als Folge guter Lehre (kein Bias)
Methoden derPsychologieBiasvariablen
• Hoher Arbeitsaufwand1. Zeichen guter Lehre Studenten lernen viel 2. Zeichen schlechter Lehre Kompensation für
schlechten Unterricht
• Benotungsstrenge1. Hohe Lehreffektivität führt zu guten Evaluationen und
Noten (kein Bias)2. Hohe Motivation der Studierenden führt zu guten Noten
und Evaluationen (Bias)3. Studenten schließen bei schlechten/guten Noten auf
schlechten/guten Unterricht zurück (Bias)4. Studenten belohnen gute Noten mit guten Evaluationen
(Bias)