1
Instrumente für die Überprüfung der Erreichung der Grundkompetenzen
D-A-CH-Seminar
Potsdam 17.-19.02.2014
Prof. Dr. Helmut Linneweber-Lammerskitten
Abstract
2016 werden in der Schweiz zum ersten Mal Tests zur Erreichung der Bildungsstandards
durchgeführt werden. Diese Tests betreffen die Grundkompetenzen (Mindeststandards) im
Fach Mathematik der Jahrgangsstufe 11 (Ende der obligatorischen Schulzeit) und werden
als CBTs (Computer Based Tests) konzipiert. Der Vortrag stellt Problemlagen und
Entscheidungsfelder auf verschiedenen Ebenen zusammen. U.a.: Inwiefern unterscheidet
sich die Überprüfung der Erreichung von Mindeststandards von der von Regelstandards -
welche Konsequenzen ergeben sich daraus für die Testinstrumente? Wie kann man
Vorteile von CBTs nutzen und Nachteile kompensieren – welche Entscheidungen sind zu
welchem Zeitpunkt zu treffen? Inwieweit lässt sich die Wahl der Überprüfungsinstrumente
auf andere Fächer und Jahrgangsstufen übertragen?
Linneweber-Lammerskitten 2
Übersicht
Linneweber-Lammerskitten 3
1. Inwiefern unterscheidet sich die Überprüfung der Erreichung von
Mindeststandards von der von Regelstandards - welche Konsequenzen
ergeben sich daraus für die Testinstrumente?
2. Wie kann man Vorteile von CBTs nutzen und Nachteile kompensieren –
welche Entscheidungen sind zu welchem Zeitpunkt zu treffen?
3. Inwieweit lässt sich die Wahl der Überprüfungsinstrumente auf andere Fächer
und Jahrgangsstufen übertragen?
Linneweber-Lammerskitten 4
ED
K-A
uftr
ag -
Kon
sort
ium
Har
moS
Mat
hem
atik
Auftrag der EDK im Mai 2005:Entwicklung eines Kompetenzmodells für das Fach "Ma thematik“, welches der EDK die Festlegung von Mindestbildungsstandards ermöglicht
2
Linneweber-Lammerskitten 5
Per
sone
nKonsortiumsleitung:Prof. Dr. Helmut Linneweber-Lammerskitten (PHNW) / Prof. Beat Wälti (PHNW)
Stab: Robbert Smit (PHNW)
Deutschschweizer Gruppe:Prof. Dr. Franco Caluori (PHNW ab 1.3.06) Ueli Hirt (PH Bern), Roland Keller PH Zürich, Prof. Dr. Elisabeth Moser Opitz (PH Bern),
Westschschweizer Gruppe:Viridiana Marc (IRDP ab 1.8.06) Operative Leitung Westschweiz, Luc Olivier Pochon (IRDP) Operative Leitung Westschweiz, Dr. Chantal Tièche Christinat (IRDP bis 31.7.06) Operative Leitung Westschweiz,
Tessiner Gruppe:Aldo Frapolli (Ufficio Studi e Richerche Bellinzona) Operative Leitung Tessin, Larissa Cadorin (Liceo cantonale Locarno)
Das Konsortium wurde zeitweilig durch weitere Mitarb eitende ergänzt: Prof. Walter Bächthold (PH St. Gallen), Michel Bréchet (coordinateur JU), Jacques-André Calame (HEP-BEJUNE), Michel Chastellain (HEPVD), Ninon Guignard (SRED), Bernhard Matter (PHNW), Olivier Menge (DECS), Ladislas Ntamakiliro (URSP), Werner Riesen (CIP), Anne Volet (DFJ),
Linneweber-Lammerskitten 6
Aus
wär
tige/
fach
über
grei
fend
e G
rupp
en u
nd E
xper
ten Praxisgruppen, Fachgruppen, Lehrkräfte und Mathemat ikdidaktiker:
Arbeitsgruppe Mathematik der NW EDK Schweizer Sektion der Gesellschaft für Didaktik der MathematikNetzwerk von Fachdidaktikern und FachgruppenBeLDAch Mathematik
Mathematikdidaktische Expertisen für die theoretisc he Validierung:Prof. Dr. Timo Leuders (PH Freiburg) für die Jahrgangsstufe 11, Prof. Dr. Michael Neubrand (Universität Oldenburg) für die Jahrgangsstufe 8, Prof. Roland Charnay (Institut Universitaire de Formation des Maîtres de Lyon) für die Jahrgangsstufe 4Prof. Dr. Werner Blum / Dr. Dominik Leiss (Universität Kassel), Prof. Roland Charnay (Institut Universitaire de Formation des Maîtres de Lyon)Prof. Dr. Bruno D'Amore (Università di Bologna).
Zusammenarbeit mit Experten der Psychometrie/Testth eorie (Methodologiegruppe):Dr. Jean-Philippe Antonietti, Dr. Jean Moreau, PD Dr. Urs Moser, Dr. Erich Ramseier
Strategiegruppe:Koordination der 4 Konsortien (Erstsprache, Fremdsprache, Mathematik, Naturwissenschaften) und der Methodologiegruppe unter der Leitung der EDK
Linneweber-Lammerskitten 7
Meh
rdim
ensi
onal
es K
ompe
tenz
mod
ell
– „(…) Systematisch geordnet werden diese Anforderungen in Kompetenzmodellen, die Aspekte,
Abstufungen und Entwicklungsverläufe von Kompetenzen darstellen." (Klieme [2003], 21)
Das HarmoS-Kompetenzmodell Mathematik ist ein mehrdimensionales Modell.
Es umfasst:
– Kompetenzbereiche
– Kompetenzaspekte
– Kompetenzniveaus / Anforderungsniveaus
– Entwicklungsdimension
– Nicht-kognitive Dimensionen Interesse, Motivation, Fähigkeit und Bereit-schaft zur Teamarbeit
Jahrgangsstufe 4, 8 und 11 (Zählweise inklusive zwei Jahren obligatorischem Kindergarten)
Linneweber-Lammerskitten 8
Kom
pete
nzbe
reic
he u
nd K
ompe
tenz
aspe
kte
Kompetenzaspekte:
•Wissen, Erkennen und Beschreiben•Operieren und Berechnen•Verwenden von Instrumenten und Werkzeugen•Darstellen und Kommunizieren•Mathematisieren & Modellieren•Argumentieren & Begründen•Interpretieren & Reflektieren der Resultate•Erforschen & Explorieren
Mathematische Leitideen:
• Zahl• Messen• Raum und Form• Funktionaler Zusammenhang• Daten und Zufall
Kompetenzbereiche:
• Zahl und Variable• Form und Raum• Grössen und Masse• Funktionale Zusammenhänge• Daten und Zufall
Allgemeine Mathematische Kompetenzen:
HarmoS-Modell KMK-Modell
3
Linneweber-Lammerskitten 9
Can
do-M
atrix
Jah
rgan
gsst
ufe
11
http://web.fhnw.ch/ph/mathematikdidaktik/professur-mathedidaktik-s1-s2/lehrenundlernen/131031HarmoSMatrixJh11Dt.pdf
Linneweber-Lammerskitten 10
Ent
wic
klun
gsdi
men
sion
(aus: EDK 2011: Grundkompetenzen für die Mathematik. Nationale Bildungsstandards. S. 9 In: http://edudoc.ch/record/96784/files/grundkomp_math_d.pdf)
Linneweber-Lammerskitten 11
Bas
isko
mpe
tenz
en
Vorschlag des Konsortiums Mathematik zu Basisstanda rds:„Am Ende des 11. Schuljahres haben alle Schülerinnen und Schüler mit Bezug auf alle Kompetenzbereiche und Kompetenzaspektemindestens das Kompetenzniveau I11 erreicht und sind fähig und bereit, in einem Team zur Lösung von Aufgaben des Kompetenzniveaus II11 und in einigen Fällen des Kompetenzniveaus III11 mit Fragen, Ideen oder Skizzen etwas beizutragen. Bezogen auf den Validierungstest 2007 entspricht dies einem Grenzwert von 400.“(Konsortium Mathematik (2009): HarmoS Mathematik. Wissenschaftlicher Kurzbericht und Kompetenzmodell. (Manuskript) S. 81. http://www.edudoc.ch/static/web/arbeiten/harmos/math_kurzbericht_2009_d.pdf )
Endgültige Formulierung der Grundkompetenzen:„(...) für alle Jahrgangsstufen werden im Folgenden jeweils nur die mathematischen Grundkompetenzen formuliert.Mathematische Kompetenz erschöpft sich nicht im Wissen und Können, sondern umfasst auch Interesse, Motivation und die Fähigkeit und Bereitschaft zur Teamarbeit (nichtkognitive Dimensionen). Auch diese Dimensionen gehören zur mathematischen Kompetenz, aus Gründen der Lesbarkeit wurde jedoch auf explizite Formulierungen verzichtet.“(aus: EDK 2011: Grundkompetenzen für die Mathematik. Nationale Bildungsstandards. S. 9.http://edudoc.ch/record/96784/files/grundkomp_math_d.pdf)
Linneweber-Lammerskitten 12
zur L
ösun
g et
was
bei
trag
en k
önne
n ...
These:
Gesellschaftspolitisch haben Mindeststandards einen anderen Stellenwert als
Regel- oder Idealstandards (Chancengerechtigkeit, Integrationsfunktion,
Partizipationsfunktion, gesellschaftlicher Zusammenhalt).
Frage:
Inwieweit ist der Aspekt „fähig und bereit sein, in einem Team zur Lösung von
(...) mit Fragen, Ideen oder Skizzen etwas beizutragen“ ein Aspekt, der bei der
Überprüfung der Erreichung der Grundkompetenzen eine Rolle spielen sollte?
Realisierungsmöglichkeiten:
-Feedbackfunktion in TAO-QTI
-Spezielle Aufgabenformate (Teamlösungsszenarien)
4
Linneweber-Lammerskitten 13
Get
este
te P
aper
-Pen
cil-A
ufga
ben
(Konsortium Mathematik (2009): HarmoS Mathematik. Wissenschaftlicher Kurzbericht und Kompetenzmodell. (Manuskript) S. 64f..http://www.edudoc.ch/static/web/arbeiten/harmos/math_kurzbericht_2009_d.pdf )
Linneweber-Lammerskitten 14
Nic
ht g
etes
tete
Kom
pete
nzbe
reic
he /
-asp
ekte
In Jahrgangsstufe 11 wurden ein Kompetenzbereich und zwei Kompetenzaspekte nicht getestet:
• Daten und Zufall
• Verwenden von Instrumenten und Werkzeugen
• Darstellen und Kommunizieren
Wenn trotzdem alle Kompetenzbereiche / .aspekte getestet werden sollten, dann bedeutet das, dass (orientiert am bisherigen Volumen) etwa 160 Items (je 40 für die beiden fehlenden Aspekte in den 4 Bereichen und 80 für den fehlenden Bereich in den 8 Aspekten) neu entwickelt werden müssten. Damit käme man brutto auf etwa 430 Items und netto (nach Ausschluss der Items, die nicht funktionieren) auf etwa 350 Items (pro Sprache). Das ist m.E nur machbar, wenn es uns gelingt, diese Entwicklung mit einem NF-Projekt zu verbinden und auf die Aufgabendatenbanken unserer Partner zurückzugreifen.
Linneweber-Lammerskitten 15
Übe
rgan
g vo
n P
aper
-Pen
cil-I
tem
s zu
CB
T-I
tem
s
Das Codiermanual und die alte Aufgabendatenbank dienen als Entscheidungsgrundlage für die Wahl des QTI-Itemtyps bzw. der „Interaction“:
Linneweber-Lammerskitten 16
Inte
ract
ion
5
Linneweber-Lammerskitten 17
Übe
rgan
g vo
n P
aper
-Pen
cil-I
tem
s zu
CB
T-I
tem
sDie pdfs der alten Testhefte dienen als Steinbruch für die benötigten Bilder und Texte. Diese können aber nicht unmittelbar in TAO-QTI übernommen werden, sondern müssen zunächst in ein Bild-/ bzw. Textverarbeitungsprogramm eingesetzt werden.
Linneweber-Lammerskitten 18
Pap
er-P
enci
l Orig
inal
Linneweber-Lammerskitten 19
Um
laut
fehl
er u
nd u
nbef
riedi
gend
es Z
uord
nung
stoo
l
Linneweber-Lammerskitten 20
6
Linneweber-Lammerskitten 21
Ein
fach
e M
ultip
le-C
hoic
e-A
ufga
be
Entnommen aus: http://psydok.sulb.uni-saarland.de/volltexte/2005/516/html/mcguideline.html
Bilder/Zeichnungen
Linneweber-Lammerskitten 22
Tei
le e
iner
Har
moS
Auf
gabe
in M
athe
mat
ik
Beschreibung einer mathematischen Situation
Überleitung
Beschreibung einer kommunikativen Situation
Frage/Auftrag
Interaction
Bild / Zeichnung
Tabellen
Formeln
Tabulatoren
Linneweber-Lammerskitten 23
Ans
prüc
he a
n di
e A
ufga
bend
aten
bank
„Die Aufgabendatenbank bildet den Ausgangspunkt sowohl für die Systemevaluation als auch für die Vorhaben auf sprachregionaler Ebene.“(Überprüfung der Erreichung der Grundkompetenzen. Aufgabendatenbank unter Verantwortung der EDK Bericht zu Handen der Plenarversammlung EDK vom 25./26. Oktober 2012. Abteilung Qualitätsentwicklung, Generalsekretariat EDK, 26. September 2012S.2)
„Aus dem Anspruch, die grösstmöglichen Synergieeffekte zwischen den Leistungsmessungen auf Systemebene (Systemevaluation) und denen auf individueller Ebene (individuellen Standortbestimmungen) aber auch zu internationalen Leistungsmessungen zu erzielen, ergeben sich Prämissen fürdie zu wählende Lösung.“(Überprüfung der Erreichung der Grundkompetenzen. Aufgabendatenbank unter Verantwortung der EDK Bericht zu Handen der Plenarversammlung EDK vom 25./26. Oktober 2012. Abteilung Qualitätsentwicklung, Generalsekretariat EDK, 26. September 2012. S.2)
„Die inhaltliche Qualität der Aufgaben muss durch die möglichen Aufgabenformate gewährleistet sein, ihre Vielfalt darf nicht durch technische Vorgaben oder Standardisierungen eingeschränkt sein.Es muss sichergestellt sein, dass die entwickelten Aufgaben unabhängig vom technischen System zur Verfügung stehen.“(Überprüfung der Erreichung der Grundkompetenzen. Aufgabendatenbank unter Verantwortung der EDK Bericht zu Handen der Plenarversammlung EDK vom 25./26. Oktober 2012. Abteilung Qualitätsentwicklung, Generalsekretariat EDK, 26. September 2012. S.4)
Linneweber-Lammerskitten 24
Item
s, A
ufga
ben,
Tes
ts z
u ve
rsch
iede
nen
Zw
ecke
n
Items, Aufgaben und ihre Bündelungen können verschiedenen Zwecken dienen:
•Zum Lernen•Zur Überprüfung des Systems•Zur Leistungsmessung der Schülerinnen & Schüler
Jeweils mit direkten Folgen oder ohne direkte Folgen
•Einunddieselbe Aufgabenidee kann in verschiedener Weise ausgestaltet werden.•Eine Aufgabe kann mehrere Items umfassen (wie viele sind sinnvoll?)•Zur Formulierung einer Aufgabe gehört auch eine Formulierung der Lösungserwartung (auch die letztere gehört zur „Identität“ einer Aufgabe)•Zu einer Bündelung von Aufgaben zu einer Lerneinheit / einem Test gehört eine Entwicklungslogik (Möglichkeiten des adaptiven Lernens und Testens)
7
Linneweber-Lammerskitten 25
Fee
dbac
kfun
ktio
n
„(...) sind fähig und bereit, in einem Team zur Lösung von Aufgaben des Kompetenzniveaus II11 und in einigen Fällen des Kompetenzniveaus III11 mit Fragen, Ideen oder Skizzen etwas beizutragen.“
Linneweber-Lammerskitten 26
Übe
rtra
gung
auf
and
ere
Jahr
gang
sstu
fen
Jahrgangsstufe 4
Linneweber-Lammerskitten 27
Nic
htko
gniti
ve D
imen
sion
en
„Mathematische Kompetenz erschöpft sich nicht im Wissen und Können, sondern umfasst auch Interesse, Motivation und die Fähigkeit und Bereitschaft zur Teamarbeit (nichtkognitive Dimensionen). Auch diese Dimensionen gehören zur mathematischen Kompetenz, aus Gründen der Lesbarkeit wurde jedoch auf explizite Formulierungen verzichtet.“(EDK 2011: Grundkompetenzen für die Mathematik. Nationale Bildungsstandards. S. 6 In: http://edudoc.ch/record/96784/files/grundkomp_math_d.pdf)
"Nach Weinert (2001, S.27f.) versteht man Kompetenzen als 'die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten, um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können'."(Klieme 2003, S. 21)
Linneweber-Lammerskitten 28
Fra
gen
zur M
otiv
atio
n
a b c
c
a
b ab
ab
Aufgabe 1:
Zwei Felder im Innern des
Quadrats haben die Fläche
a● b (siehe Abbildung).
Trage die Flächeninhalte c2
und b2 in die
entsprechenden Felder ein
Solche Aufgaben …
stimmt genau
stimmt eher
stimmt eher nicht
stimmt gar nicht
… finde ich schwierig � � � �
… machen mir Spass � � � �
… finde ich wichtig � � � �
… finde ich langweilig � � � �
… spielen für mich keine Rolle
� � � �
… kann ich gut lösen � � � �
8
Linneweber-Lammerskitten 29
Lite
ratu
r
EDK (Schweizerische Konferenz der Erziehungsdirektoren) (2011). Grundkompetenzen für die Mathematik. Nationale Bildungsstandards.http://edudoc.ch/record/96784/files/grundkomp_math_d.pdf (März 2012).
EDK (Schweizerische Konferenz der Erziehungsdirektoren) (2012). Überprüfung der Erreichung der Grundkompetenzen. Aufgabendatenbank unter Verantwortung der EDK. http://edudoc.ch/record/105010/files/PB_aufgabendatenbank_d.pdf (Februar 2014)
Klieme, Eckhard, u.a. (2003): Zur Entwicklung nationaler Bildungsstandards. Eine Expertise http://www.dipf.de/publikationen/volltexte/zur_entwicklung_nationaler_bildungsstandards.pdf (März 2013)
KMK (Ständige Konferenz der Kultusminister) (Hg.) 2003. Bildungsstandards im Fach Mathematik für den Mittleren Schulabschluss. In: http://www.kmk.org/fileadmin/veroeffentlichungen_beschluesse/2003/2003_12_04-Bildungsstandards-Mathe-Mittleren-SA.pdf, (März 2013)
Konsortium Mathematik (2009): HarmoS Mathematik. Wissenschaftlicher Kurzbericht und Kompetenzmodell. (Manuskript) Retrieved from: http://www.edudoc.ch/static/ web/arbeiten/harmos/math_kurzbericht_2009_d.pdf (März 2014).
Linneweber-Lammerskitten, H. and Wälti, B. (2008). HarmoS Mathematik: Kompetenzmodell und Vorschläge für Bildungsstandards. BZL, 26 (3), 326–337.
Linneweber-Lammerskitten, H. (2012). Sprachkompetenz im Mathematikunterricht. In Ludwig, Matthias and Kleine, Michael (Eds.), Beiträge zum Mathematikunterricht 2012 (S. 561–564). Münster: WTM-Verlag
Linneweber-Lammerskitten, H. (2012). Linguistic and plurilingual & intercultural competence in mathematics teaching and learning. In Contribution to Plurilingual and intercultural education, a special issue guest-edited by Mike Byram, Mike Fleming & Irene Pieper. L1-Educational Studies in Language and Literature, 12, 1-24, Retrieved from: http://l1.publication-archive.com/next?cont=dURcFVpYSlYVQ0lS
Linneweber-Lammerskitten, H. (2013). Sprachkompetenz als integrierter Bestandteil der mathematical literacy? In Becker-Mrotzek, M., Schramm, K., Thürmann, E., and Vollmer, H.J. (Eds.), Sprache im Fach – Sprachlichkeit und fachliches Lernen. Münster: Waxmann, 151-166.
Linneweber-Lammerskitten, H. (2014a). Mathematikdidaktik, Bildungsstandards und mathematische Kompetenz. In Linneweber-Lammerskitten, H. (Ed.) (2014). Fachdidaktik Mathematik. Grundbildung und Kompetenzaufbau im Unterricht der Sek. I und II. (pp. 9-27). Seelze: Klett/Kallmeyer.
Linneweber-Lammerskitten, H. (2014b). Darstellen und Kommunizieren, Argumentieren und Begründen, Interpretieren und Reflektieren von Resultaten. In Linneweber-Lammerskitten, H. (Ed.) (2014). Fachdidaktik Mathematik. Grundbildung und Kompetenzaufbau im Unterricht der Sek. I und II. (pp. 179-200). Seelze: Klett/Kallmeyer.
NCTM (National Council of Teachers of Mathematics) 2000: Principles and Standards for School Mathematics. RestonOECD (2004c): PISA 2003 Assessment Framework: Mathematics, Reading, Science and Problem Solving Knowledge and Skills -
Publications 2003, http://www.pisa.oecd.org/dataoecd/ 46/14/33694881.pdf (24.02.2004)Schweizerische Eidgenossenschaft (2006): Volksabstimmung vom 21. Mai 2006 Erläuterungen des Bundesrates, Neuordnung der Verfassungsbestimmungen zur Bildung. http://www.sbf.admin.ch/bra/dokumentation_3_de.html
Weinert, F. E. (2001a): Vergleichende Leistungsmessung in Schulen – eine umstrittene Selbstverständlichkeit. In F. E. Weinert (Hrsg.), Leistungsmessungen in Schulen, Weinheim und Basel Beltz Verlag
Weinert, F. E. (2001b). Concept of Competence: A Conceptual Clarification. In: Rychen, D. S., Salganik, L. H. (Hrsg.). Defining and Selecting Key Competencies. Seattle, Toronto, Bern, Göttingen. S. 45-65.
Winter, Heinrich [1989]: Entdeckendes Lernen im Mathematikunterricht, Braunschweig/Wiesbaden (Vieweg)