Externe Evaluation von„Mathe sicher können“
Ergebnisse der Testung der Lernenden in Mathematik im Sommer 2015
Claudia FischerBrigitte DöringFranziska TrepkeOlaf Köller
TESTUN
G LER
NEN
DE 2015
Inhalt
1 Einleitung 2
1.1 Hintergrund 2
1.2 Externe Evaluation 3
2 Planung und Durchführung der Testung der Lernenden in Mathematik
im Sommer 2015 4
2.1 Hintergrund 4
2.2 Testzeitraum, Zielgruppe, Rekrutierung der Vergleichsschulen,
Testdurchführung, Testkorrektur 5
2.3 Testinstrument 6
2.4 Datenauswertung 7
3 Ergebnisse 0 7
3.1 Stichprobe 0 7
3.2 Gesamtergebnis Mathematik in der Leistungserhebung 2015 9
3.3 Ergebnisse in den Subdomänen Rechenoperationen, Dezimalsystem und
Sachrechnen 10
3.4 Differenzierte Analysen der Ergebnisse nach Schulformen 12
4 Zusammenfassung 18
5 Bibliographie 20
Anhang 21
A1: Informationsschreiben an die Schulen aus „Mathe sicher können“ 21
A2: Informationsschreiben an die Schulen aus der Vergleichsstichprobe 23
A3: Blanco-Formular einer Klassenliste 25
A4: Rückmeldebogen für die Schulen (blanco) 26
Impressum
Claudia Fischer, Brigitte Döring, Franziska Trepke & Olaf Köller
Externe Evaluation von „Mathe sicher können“
Ergebnisse der Testung der Lernenden in Mathematik im Sommer 2015
Bericht erstellt vom Leibniz-Institut für die Pädagogik
der Naturwissenschaften und Mathematik (IPN) an der Universität Kiel
Olshausenstr. 62
24098 Kiel
www.ipn.uni-kiel.de
Kiel, März 2016
Kontakt: [email protected]
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 2
Claudia Fischer, Brigitte Döring, Franziska Trepke & Olaf Köller
Externe Evaluation von „Mathe sicher können“
Ergebnisse der Testung der Lernenden in Mathematik im Sommer 2015
1 Einleitung
1.1 Hintergrund
2010 rief die Deutsche Telekom Stiftung (DTS) das Projekt „Mathe sicher können“ (MSK) ins
Leben. Ausgangspunkt bildeten Befunde der PISA-Studien, wonach 20 bis 25 Prozent der Fünf-
zehnjährigen in Deutschland lediglich auf Grundschulniveau rechnen. Dies hat schwerwiegende
Folgen für den weiteren Lebensweg der Betroffenen und ist auch gesellschaftlich bedeutsam.
„Mathe sicher können“ verfolgt das Ziel, leistungsschwache Lernende in Mathematik in der
Sekundarstufe I systematisch zu fördern und anschlussfähiges mathematisches Basiswissen auf-
zubauen. Damit dieses Ziel erreicht werden kann, erhalten Lehrkräfte die Möglichkeit, sich wei-
ter zu professionalisieren, d.h. ihre diagnostische Kompetenz weiter zu entwickeln und auf die-
ser Grundlage fundiert zu fördern. „Mathe sicher können“ ist also ein Projekt zur Professionali-
sierung von Lehrkräften und strebt über die Verbesserung der professionellen Kompetenz die
Verringerung des Anteils an Lernenden in der so genannten „Risikogruppe“ an.
Das Institut für die Entwicklung und Erforschung des Mathematikunterrichts (IEEM) an der
Technischen Universität Dortmund wurde unter der Federführung von Prof. Dr. Susanne Predi-
ger und Prof. Dr. Christoph Selter mit der Durchführung des Projekts „Mathe sicher können“
beauftragt. Bis 2014 entwickelten Fachdidaktikerinnen und Fachdidaktiker sowie Personen mit
erziehungswissenschaftlicher und unterrichtlicher Expertise aus Dortmund und anderen univer-
sitären Standorten Materialien, die zur gezielten Unterstützung von Lernenden in den Bereichen
„Natürliche Zahlen“ und „Brüche, Prozente und Dezimalzahlen“ eingesetzt werden können.
Von 2014 bis 2017 sollen diese Materialien an Schulen in Nordrhein-Westfalen, Berlin und
Brandenburg sowie Schleswig-Holstein implementiert werden. Der Implementierungsvorgang
wird an den Schulen von Lehrkräften getragen, die Mathematik unterrichten. Ihnen stehen so
genannte Netzwerkbegleiterinnen und Netzwerkbegleiter zur Seite, die den Umsetzungsprozess
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 3
an den Schulen und schulübergreifend unterstützen. Dieser Personenkreis wird seinerseits durch
die Koordinierungsgruppe des Projekts an der Technischen Universität Dortmund begleitet und
nimmt an Fortbildungsveranstaltungen und Treffen zum Erfahrungsaustausch teil.
1.2 Externe Evaluation
Das Kieler Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik (IPN)
führt von 2015 bis 2017 die externe Evaluation des Projekts „Mathe sicher können“ in Nord-
rhein-Westfalen durch. Die dabei entstehenden Kosten trägt die Deutsche Telekom Stiftung.
Das generelle Ziel der externen Evaluation besteht darin, zu erfahren, was das Projekt „Mathe
sicher können“ bewirkt. Im Besonderen soll Wissen in drei Bereichen gewonnen werden (Tab.
1): Wissen, das für die Steuerung des Projekts genutzt werden kann, Wissen über den Prozess
der Unterrichts- und Professionsentwicklung und Wissen über die Wirkungen des Projekts auf
Unterricht, Lehrkräfte und Lernende.
Tab. 1: Wissensdomänen bei der externen Evaluation von „Mathe sicher können“
Um dieses Wissen zu gewinnen, werden im Zeitverlauf verschiedene Maßnahmen durchgeführt
(Abb. 1):
1. Telefoninterviews mit den Netzwerkbegleiterinnen aus „Mathe sicher können“. Die Er-
kenntnisse können der Projektorganisation an der TU Dortmund bei der Prozesssteue-
rung helfen.
2. Mehrere Leistungsüberprüfungen der Lernenden. Informationen aus diesen Erhebungen
liefern Basisdaten, um die Zielgruppe zu identifizieren, auf die sich die Bemühungen der
Lehrkräfte konzentrieren sollen. Von den Wiederholungsmessungen wird erwartet, dass
sie Hinweise auf den Prozess der Förderentwicklung an den Schulen liefern und schließ-
lich auf die Wirkung, die das Projekt auf die Lernenden hat.
3. Die Gesamtbefragung der Lehrkräfte liefert zunächst Erkenntnisse über die Zusammen-
setzung der Gruppe, an die sich die Professionalisierungsmaßnahmen wenden, ihre fach-
lichen und diagnostischen Voraussetzungen und ihre Bereitschaft, sich an dem Projekt
zu beteiligen. Diese Informationen sind für die Prozesssteuerung bedeutsam. Von den
Wiederholungsmessungen wird erwartet, dass sie Entwicklungen im Zeitverlauf erken-
nen lassen und damit Aussagen zum Prozess der Unterrichts- und Professionalisierungs-
entwicklung ermöglichen und auf Wirkungen des Projekts schließen lassen.
4. Eine einmalige Analyse von Arbeitsprotokollen der Schulgruppen soll Einblicke erlauben,
wie die Lehrkräfte bei der Umsetzung des Projekts an ihren Schulen vorgehen und damit
Hinweise auf die Prozessgestaltung liefern.
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 4
Abb. 1: Maßnahmen der Begleitforschung in „Mathe sicher können“
Jeweils nach Abschluss einer Maßnahme und der Auswertung der dabei gewonnenen Daten, erstellt
das IPN einen Bericht, der durch die TU Dortmund validiert wird und dann an die Deutsche Telekom
Stiftung geht.
Der vorliegende Bericht befasst sich mit der zweiten Maßnahme, nämlich der im Sommer 2015
durchgeführten Testung der Lernenden aus fünften Klassen im Fach Mathematik. Es handelt sich um
die erste Erhebung dieses Typs. Sie wird als Ausgangsmessung verstanden. Die Daten aus nachfol-
genden Messungen können dann auf diese Basiserhebung bezogen werden.
2 Planung und Durchführung der Testung der Lernenden in Mathe-
matik im Sommer 2015
2.1 Hintergrund
„Mathe sicher können“ zielt auf die Weiterentwicklung der Professionalität der Lehrkräfte. Über
mehrere Jahre bauen sie ihre diagnostischen Fähigkeiten aus und unterstützen Lernende dabei, ihre
Basiskompetenzen in Mathematik so zu entwickeln, dass ein anschlussfähiges und erfolgreiches Ma-
thematiklernen möglich ist. Die Optimierung der professionellen Qualität der Lehrpersonen zielt
damit auf die Verbesserung der Unterrichtsqualität in einzelnen Domänen und im Ganzen (Borko,
2004). In der einschlägigen Literatur (z.B. Ball & Cohen 1999, Garret, Porter, Desimone, Birman &
Yoon, 2001; Desimone, 2001) gelten Projekte dann als erfolgreich, wenn sie Änderungen der Ein-
stellungen, des Verhaltens und der Handlungsroutinen der Lehrkräfte bewirken und sich diese Ver-
änderungen letztlich in einer positiven Entwicklung der Leistungen, des Wissens und Könnens der
Lernenden niederschlagen (Slavin, 2008a und Slavin, 2008b).
Damit Aussagen über die Leistungsentwicklung der Lernenden möglich werden, bedarf es zunächst
einer Ausgangsmessung. Sie liefert die Datengrundlage, auf die spätere Messergebnisse bezogen
werden können. Der vorliegende Bericht befasst sich mit der Basismessung. Mit ihr wurden unmit-
telbar zu Beginn des Schuljahrs 2015/2016 das basale Mathematikwissen und -können der Kinder
erfasst, die in die fünfte Klasse einer weiterführenden Schule (ohne Gymnasien und Förderschulen)
gewechselt waren. Diese Daten sind dazu geeignet, die Zielgruppe der Lernenden an den „Mathe
sicher können“-Schulen zu beschreiben. Als Daten zur Ausgangslage lassen sie sich später mit Daten
vergleichen, die im Rahmen von Folgemessungen erhoben werden. Um im weiteren Verlauf der Eva-
luation feststellen zu können, ob die gemessenen Effekte auf Einflüsse des Projekts „Mathe sicher
können“ zurückgeführt werden können, wurde die Testung von vornherein mit zwei Stichproben
durchgeführt: einer Stichprobe mit Kindern aus Schulen, die an „Mathe sicher können“ teilnehmen
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 5
(Interventionsgruppe) und einer Stichprobe mit Kindern aus Schulen, die nicht an „Mathe sicher
können“ teilnehmen (Vergleichsgruppe). In diesem Bericht tragen die Stichproben folgende Namen:
Interventionsgruppe = “Mathe sicher können“-Schulen (MSK-Schulen)
Vergleichsgruppe = Vergleichsschulen (VG-Schulen)
Im Sinne des Gesamtdesigns der Evaluation von „Mathe sicher können“ sollen die Leistungserhebun-
gen Wissen zum letzten der oben genannten drei Bereiche beisteuern: Wissen über Wirkungen des
Projekts auf die Lernenden, betrachtet auf der Grundlage der Leistungen der Schülerinnen und Schü-
ler aus „Mathe sicher können“-Schulen gemessen an einer Vergleichsgruppe.
2.2 Testzeitraum, Zielgruppe, Rekrutierung der Vergleichsschulen, Testdurchführung, -korrektur
Testzeitraum. Die erste Leistungstestung fand vom 14.-20. August 2015, d.h. in der ersten Woche
nach Beginn des Schuljahrs 2015/2016 statt (vgl. Informationsschreiben im Anhang). Dieser frühe
Zeitraum wurde in Absprache mit der Projektorganisation an der TU Dortmund festgelegt, um sicher
zu stellen, dass die MSK-Schulen möglichst rasch Rückmeldung zu den Testergebnissen der einzelnen
Kinder erhielten und im Anschluss zügig Fördergruppen einrichten konnten.
Zielgruppe. Getestet wurden alle Kinder, die eine fünfte Klasse in einer der 40 MSK-Schulen besuch-
ten. Es wurden alle parallelen fünften Klassen einer Schule getestet. Für die Leistungsmessung an den
21 Vergleichsschulen galten die gleichen Kriterien. Damit stellte die Testung eine Vollerhebung der
fünften Jahrgänge an den beteiligten Schulen dar.
Rekrutierung der Vergleichsschulen. Im Vorfeld wurde verabredet, dass die Gruppe der VG-Schulen
nur halb so groß wie die Gruppe der MSK-Schulen sein sollte. Allerdings waren solche Schulen nicht
bekannt und mussten erst gefunden werden. Bezirksregierungen, Schulaufsichtspersonen, Personen
aus den Kompetenzteams und einige Netzwerkbegleiterinnen unterstützten das IPN bei der Re-
krutierung. Damit sich beide Stichproben möglichst ähnlich waren, sollten Schulen anhand folgender
Kriterien gezielt angesprochen und ausgewählt werden:
geografische Lage – innerhalb der Regierungsbezirke sollten MSK- und VG-Schulen hinsicht-
lich ihrer geografischen Lage (auf dem Land / in der Stadt / in einem Stadtteil mit spezifischer
sozialer Zusammensetzung der Bewohnerschaft) möglichst zu gleichen Anteilen vertreten
sein,
Größe der Schule – gemessen an der Zahl der Schülerinnen und Schüler sowie der Zahl der
Klassen sollten die Schulen möglichst ähnlich sein,
Schulform – innerhalb der Regierungsbezirke sollten MSK- und VG-Schulen hinsichtlich der
Schulform möglichst zu gleichen Anteilen vertreten sein,
Sozialstruktur – die soziale Struktur des Einzugsgebietes und / oder die soziale Zusammenset-
zung der Schülerpopulation sollten beachtet werden.
Im Abschnitt über die Beschreibung der Stichprobe werden die Ergebnisse der Umsetzung dieser
Auswahlkriterien berichtet.
Testdurchführung. Die Testung wurde zeitgleich an den MSK- und den VG-Schulen von externen
Testleiterinnen und Testleitern durchgeführt. Ihre Rekrutierung erfolgte durch das IPN, das dabei
durch das Data Processing Center (DPC) in Hamburg, das Institut für Schulentwicklungsforschung
(IfS) in Dortmund, die Professorinnen Prof. Dr. Stephanie van Ophuysen und Dr. Bea Harazd (WWU
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 6
Münster) und die Studierendenberatung für Psychologie an der Uni Bielefeld unterstützt wurde. Das
IPN stellte die Ausbildung der Testleiterinnen und Testleiter sicher. Es führte in der Vorbereitung auf
die Testung eine ganztägige Schulung an der TU Dortmund für Personen durch, die an den Schulen
die Testung leiteten und später in Dortmund die Testhefte aus den MSK-Schulen korrigierten. Eine
zweite Schulung fand in Kiel statt für Personen, die dort die Tests aus den VG-Schulen korrigierten.
Das IPN stimmte mit den Schulen Termine für die Testungen ab und organisierte und koordinierte
den Einsatz der Testleiterinnen und Testleiter.
Testkorrektur. Die Testkorrektur fand in zwei Teilen statt. Vom 21.-22.08.15 trafen sich alle Testleite-
rinnen und Testleiter mit der Evaluationsgruppe aus dem IPN an der TU Dortmund, um die Testhefte
aus den MSK-Schulen in drei Durchgängen zu korrigieren. Ab dem 24.08.15 erhielten die MSK-
Schulen Rückmeldung zu den Ergebnissen für jedes einzelne Kind. Die Rückmeldung war innerhalb
eines Monats nach Beginn der Testung für alle MSK-Schulen abgeschlossen. Vom 9.-10.09.15 trafen
sich Testleiterinnen und Testleiter mit der Evaluationsgruppe aus dem IPN in Kiel, um die Testhefte
aus den VG-Schulen in drei Durchgängen zu korrigieren. Ende September 2015 hatten auch die Ver-
gleichsschulen die Rückmeldungen zu den Testergebnissen für jedes Kind. Im Anschluss an die drei
Korrekturdurchgänge wurden alle Testhefte auf Initiative des IPN noch ein viertes und fünftes Mal
durchgesehen, um die Ergebnisse auf Item-Ebene zu erfassen. Dieser Vorgang war Ende Februar
2016 abgeschlossen.
2.3 Testinstrument
Für die Leistungsüberprüfung wurde der Test BASIS MATH G4+ (Moser Opitz et al., 2016a) für die
fünfte Jahrgangsstufe eingesetzt. Bei diesem Test handelt es sich um ein Instrument, das speziell zur
Überprüfung des Basiswissens in Mathematik entwickelt wurde. Den Einsatz dieses Instruments hatte
die Projektleitung von „Mathe sicher können“ empfohlen. Sein Einsatz war vor allem dadurch moti-
viert, dass der BASIS MATH der einzige Gruppentest ist, der sich speziell auf die Erfassung des Basis-
wissens in Mathematik konzentriert und, dass er bis zum Ende der sechsten Jahrgangsstufe fortge-
schrieben wird, so dass regelmäßige Messwiederholungen stattfinden können. Das Instrument hat
die Testformen A und B, die beide bei den Messungen in den Klassen zum Einsatz kamen. Der Test
BASIS MATH G4+ wurde in der vorliegenden Form um zwei Fragen ergänzt: Die eine Frage diente
der Erfassung der letzten Mathematik-Zensur am Ende der vierten Jahrgangsstufe, bei der zweiten
Frage ging es um das Mathematikinteresse und die Motivation, sich mit Mathematik zu befassen.
Eingesetzt wurden Fragen, die beim IQB-Ländervergleich Mathematik 2012 (Pant et al., 2013) ver-
wendet wurden. Sie wurden an die Voraussetzungen der Zielgruppe angepasst.
Zum Testzeitpunkt lag das bis dahin noch nicht publizierte Instrument in einer durch die Urheberin-
nen autorisierten Fassung vor. Die Skalierung und Normierung des BASIS MATH Gruppentests 4+
und 5 basiert auf insgesamt 4.044 Messungen, die an 2.984 Schülerinnen und Schülern der vierten
und fünften Jahrgangsstufe in 130 Klassen in Nordrhein-Westfalen und der Schweiz vorgenommen
wurden. 1.985 Lernenden nahmen einmal an der Testung teil. Von 938 Lernenden liegen Daten aus
zwei Messzeitpunkten vor, von 61 Schülerinnen und Schülern Daten aus drei Messzeitpunkten. Der
erste Messzeitpunkt lag im letzten Quartal der vierten Jahrgangsstufe. Der zweite Messzeitpunkt lag
im ersten Quartal der fünften Jahrgangsstufe. Der dritte Messzeitpunkt lag im letzten Quartal der
fünften Jahrgangsstufe. Für die beiden ersten Messungen wurde der BASIS MATH G4+ eingesetzt.
Bei der dritten Messung wurde der BASIS MATH G5 verwendet. Einzelheiten zur Skalierung und
Normierung des Tests können dem Manual (Moser Opitz et al., 2016b) entnommen werden.
Bedingt durch die Anlage des Untersuchungsdesigns, sowie aus urheberrechtlichen Gründen dürfen
weder der Test als Ganzes noch Teile daraus (z.B. einzelne Aufgaben oder einzelne Lösungen) mitge-
teilt werden. Dieser Regelung trägt auch der vorliegende Bericht Rechnung.
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 7
2.4 Datenauswertung
Die Erfassung der Daten erfolgte zunächst für Zwecke der Rückmeldung an die Schulen. Dafür wa-
ren für jedes Kind neben der eingesetzten Testform folgende Angaben erforderlich:
Gesamtergebnis Mathematik
Ergebnis im Bereich Rechenoperationen
Ergebnis im Bereich Dezimalsystem und
Ergebnis im Bereich Sachrechnen
Diese Angaben wurden in die Klassenlisten übertragen, so dass die Lehrkräfte die laufenden Num-
mern auf individuelle Kinder rückführen und so die Ergebnisse entschlüsseln konnten. Den Lehrkräf-
ten wurde mitgeteilt, dass eine Gesamtpunktzahl von 29 Punkten und weniger eine Förderung not-
wendig erscheinen lasse (vgl. Anlage A3). Mit Hilfe der Ergebnisse in den Subdomänen konnten sie
ersehen, wo die Förderung besonders dringlich erschien. Anschließend konnte mit der „Standortbe-
stimmung“ aus „Mathe sicher können“ weitergearbeitet werden.
Im Anschluss an die Rückmeldung an die Schulen wurden die Daten noch weiter ausgewertet mit
dem Ziel, möglichst genau Ausgangsmerkmale der Stichproben zu beschreiben, einen ersten Stich-
probenvergleich durchzuführen und für die MSK-Stichprobe detailliertere Erkenntnisse zu gewin-
nen. Im Einzelnen wurden daher für beide Stichproben Alter und Geschlecht der Kinder ermittelt.
Die erreichten Punktzahlen in den einzelnen Domänen wurden auf der Ebene der jeweiligen Ge-
samtstichprobe aggregiert und miteinander verglichen. Schließlich wurden differenziertere Analysen
für die einzelnen Schulformen durchgeführt und die leistungsschwächere sowie die leistungsstärkere
Gruppe noch einmal genauer in den Blick genommen. Hier war das untersuchungsleitende Interesse
festzustellen, welche Unterschiede sich innerhalb der Population bei den einzelnen Domänen zei-
gen und welche Zusammenhänge ggf. zwischen einzelnen Domänen sichtbar werden.
Die Datenerfassung erfolgte mit Hilfe des Programms MS Excel, für die Analysen wurde das Pro-
gramm SPSS 19 eingesetzt.
3 Ergebnisse
3.1 Stichprobe
Einige Merkmale der Stichprobe sind in Tabelle 2 dargestellt.
Aus der Übersicht ist ersichtlich, dass das Verhältnis der Schulen, der Klassen und beteiligten Kinder
dem entspricht, das vorab für die beiden Substichproben festgelegt wurde.
Jungen sind gegenüber den Mädchen in der Stichprobe leicht stärker vertreten. Dies entspricht der
amtlichen Statistik. Danach besuchen mehr Jungen als Mädchen nichtgymnasiale Bildungsgänge, am
Gymnasium kehrt sich das Geschlechterverhältnis zugunsten der Mädchen um. Die Differenz zur
Gesamtzahl der Kinder erklärt sich aus fehlenden Angaben zum Geschlecht.
Fragen zum Migrationsstatus bzw. zu der zu Hause gesprochenen Sprache sowie zum sozialen Hin-
tergrund der Elternhäuser der getesteten Kinder wurden nicht gestellt, so dass hierzu keine Auskünf-
te möglich sind. Es ist beabsichtigt, solche Angaben bei späteren Testungen einzuholen.
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 8
Tab. 2: Merkmale der Stichprobe der Leistungstestung in Mathematik 2015
„Mathe sicher können“‐Schulen Vergleichsschulen Zusammen
Schulen 40 21 61
Klassen 166 83 249
Kinder 4.230 2.065 6.295
Mädchen 2.007 961 2.968
Jungen 2.322 1.158 3.480
Um feststellen zu können, ob es Leistungsunterschiede zwischen den Kindern in Abhängigkeit von
der besuchten Schulform geben könnte, wurde die Stichprobe hinsichtlich dieses Kriteriums differen-
ziert (Tab. 3).
Tab. 3: Verteilung der Schulformen in der Stichprobe der Leistungstestung in Mathematik 2015
Schulform / Zahl der Schu-
len in NRW
„Mathe sicher können“-Schulen
Vergleichsschulen Zusammen
NSchulen
Anteil an MSK-Stich-probe
Anteil an Gesamt-
Stich-probe
NSchulen
Anteil an VG-
Stich-probe
Anteil an Gesamt-
Stich-probe
NSchulen
Anteil an Gesamt-
Stich-probe
Haupt-schulen und
Gemein-schaftshaupt-
schulen / N=503
7 17,5% 11,5% 2 10% 3,3% 9 14,8%
Sekundar-schulen / N=109
5 12,5% 8,2% 4 19% 6,5% 9 14,7%
Realschulen / N=563
10 25% 16,4% 9 42,8% 14,7% 19 31,1%
Gesamt-schulen / N=306
18 45% 29,5% 6 28,6% 9,8% 24 39,3%
Zusammen / N=1.481
40 100% 65,6% 21 100% 34,4% 61 100%
Konzeptgemäß sind in beiden Stichproben alle Schulformen der Sekundarstufe I in NRW vertreten,
mit Ausnahme der Gymnasien und der Förderschulen. Die Tabelle zeigt aber, dass die Anteile der
einzelnen Schulformen in den Stichproben verschieden sind. So stellen Gesamtschulen in der MSK-
Stichprobe fast die Hälfte der Schulen, während sie in der Vergleichsstichprobe lediglich ein gutes
Viertel der Schulen ausmachen. Dort bilden die Realschulen mit über 40% den höchsten Anteil.
Hauptschulen machen nur 10% der Vergleichsstichprobe, aber 17,5% der MSK-Stichprobe aus. Die
unterschiedliche Verteilung der Schulformen wird darauf zurückgeführt, dass dieses Kriterium bei der
Rekrutierung der Vergleichsschulen durch die Bildungsverwaltung nicht einheitlich umgesetzt wurde.
3.2 Gesamtergebnis Mathematik in der Leistungserhebung 2015
Der Test BASIS MATH G4+ besteht aus 19 Aufgaben zu den Bereichen Rechenoperationen (9 Aufga-
ben), Dezimalsystem (5 Aufgaben) und Sachrechnen (5 Aufgaben). Die Aufgaben werden struktur-
gleich in den Testformen A und B angeboten. Werden alle Aufgaben richtig gelöst, können maximal
60 Punkte erreicht werden. Tabelle 4 macht auch Angaben zu den erreichbaren Höchstpunktzahlen
in den Subdomänen.
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 9
Tab. 4: Erreichbare Höchstpunktzahlen im Test BASIS MATH G4+
Gesamtergebnis
Mathematik
Rechen-
operationen Dezimalsystem Sachrechnen
Zahl der Aufgaben 19 9 5 5
Erreichbare
Höchstpunktzahl 60 32 13 15
Erreicht ein Kind insgesamt 29 Punkte und weniger, ist dies ein Hinweis an die Lehrkraft, einen mög-
licherweise vorliegenden Förderbedarf zu prüfen. Die Leistungen in den Subdomänen können zusätz-
liche Anhaltspunkte bieten, in welchem Bereich Unterstützung nötig oder sinnvoll sein könnte.
Gesamtergebnis Mathematik. Abbildung 2 zeigt die Verteilung der bei der Testung der Lernenden im
Sommer 2015 erreichten Gesamtpunktzahlen für die Kinder aus den MSK- und aus den VG-Schulen.
Abb. 2: Verteilung Gesamtergebnis Mathematik.
MSK-Schulen (N=4.230 Kinder; M=34.43; SD=12.06). VG-Schulen (N=2.065 Kinder; M=33.54; SD=12.34). Testung
Lernende in Mathematik 2015.
Die Abbildung zeigt, dass 67% der Kinder aus MSK-Schulen ohne größere Probleme im mathemati-
schen Basisstoff in die fünfte Jahrgangsstufe starten. 33% der Lernenden liegen allerdings unterhalb
von 29 Punkten. Bei den VG-Schulen zeigen 64% der Lernenden Leistungen, die auf ausreichend
verfügbares Basiswissen schließen lassen, wohingegen 36% der Lernenden Lücken im mathemati-
schen Basiswissen erkennen lassen. Der Vergleich der beiden Stichproben zeigt geringe Unterschiede
bei den beiden Subgruppen (in der MSK-Stichprobe ist der Anteil der Kinder mit Förderbedarf um 4
Prozentpunkte geringer als bei der VG-Stichprobe). Diese Unterschiede müssen bei späteren Mes-
sungen und Analysen angemessen berücksichtigt werden.
Nach der Anlage des Tests sollten Lehrkräfte bei Kindern, die 29 und weniger Punkte erreicht haben,
z.B. mit Hilfe der Standortbestimmung genauer prüfen, wo Lernende welche und wie viel Unterstüt-
zung benötigen.
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 10
3.3 Ergebnisse in den Subdomänen Rechenoperationen, Dezimalsystem und Sachrechnen
Rechenoperationen. Neun Aufgaben sind im Test dem Bereich der Rechenoperationen zuzurechnen.
Ihre richtige Lösung bringt die Höchstpunktzahl von 32 Punkten. Für die Auswertung wurde bei 16
Punkten eine Grenze gesetzt. Wer 16 Punkte und weniger erreicht, gilt als unterstützungsbedürftig
im Bereich der Rechenoperationen. Wer 17 Punkte und mehr erreicht, benötigt keine oder weniger
Hilfestellung.
Abbildung 3 zeigt das Ergebnis der Analysen. Demnach brauchen etwa 30% der Fünftklässlerinnen
und Fünftklässler aus den MSK-Schulen Unterstützung im Bereich der Rechenoperationen. Mit 34 %
liegt der Wert für die VG-Schulen etwas höher.
Abb. 3: Verteilung der erreichten Punktzahlen in der Subdomäne Rechenoperationen.
MSK-Schulen (N=4.230 Kinder; M=19.58; SD=6.83). VG-Schulen (N=2.065 Kinder; M=19.09; SD=6.97). Testung
Lernende in Mathematik 2015.
Dezimalsystem. Fünf der Testaufgaben entstammen dem Bereich des Dezimalsystems. Werden sie
richtig gelöst, können maximal 13 Punkte erreicht werden. Für die Auswertung wurde unterstellt,
dass Lernende mit sieben Punkten und weniger, Lücken im mathematischen Basiswissen der Subdo-
mäne aufweisen. Wer acht Punkte und mehr erreicht, braucht weniger oder keine zusätzliche Unter-
stützung.
Das Ergebnis der Analysen ist in Abbildung 4 dargestellt. 47% der Lernenden aus den MSK-Schulen
erzielen Ergebnisse zwischen null und sieben Punkten. Dieser Anteil ist mit 49% an den Vergleichs-
schulen unerheblich höher.
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 11
Abb. 4: Verteilung der erreichten Punktzahlen in der Subdomäne Dezimalsystem.
MSK-Schulen (N=4.230 Kinder; M=7.45; SD=3.08). VG-Schulen (N=2.065 Kinder; M=7.29; SD=3.14). Testung Ler-
nende in Mathematik 2015.
Vergleicht man die Ergebnisse zum Dezimalsystem mit dem Abschneiden bei den Rechenoperatio-
nen, fällt ein nennenswerter Unterschied auf. Dieser lässt vermuten, dass Kinder technische Grund-
fertigkeiten und Grundaufgaben recht gut beherrschen, bisher aber kein tieferes Verständnis der
Zahlbeziehungen aufbauen konnten.
Sachrechnen. Fünf Aufgaben aus dem Test BASIS MATH G4+ sind dem Bereich des Sachrechnens
zuzuordnen. Bei richtiger Lösung können maximal 15 Punkte erreicht werden. Für die Analysen wur-
de auch hier wieder eine Grenze gesetzt, um Lernende mit Förderbedarf von anderen Lernenden
unterscheiden zu können. Diese Grenze lag bei acht Punkten.
Die Ergebnisse der Analysen sind in Abbildung 5 dargestellt. Sie zeigen, dass 60% der Lernenden aus
den fünften Klassen der MSK-Schulen Förderbedarf im Bereich des Sachrechnens haben. Mit 63%
liegt dieser Anteil an den Schulen aus der Vergleichsstichprobe etwas höher. Diese Schwächen beim
Sachrechnen legen nahe, dass die allgemeinen Kompetenzen, wie sie in den Bildungsstandards fest-
gelegt wurden, in der Grundschule nicht ausreichend aufgebaut wurden. Beim erfolgreichen Sach-
rechnen gehört zum Beherrschen von Rechenoperationen z.B. auch die Fähigkeit des Modellierens
und Problemlösens.
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 12
Abb. 5: Verteilung der erreichten Punktzahlen in der Subdomäne Sachrechnen.
MSK-Schulen (N=4.230 Kinder; M=7.42; SD=3.73). VG-Schulen (N=2.065 Kinder; M=7.15; SD=3.80). Testung Ler-
nende in Mathematik 2015.
Die Analysen auf der Ebene der im Test erzielten Gesamtergebnisse Mathematik sowie der Ergebnis-
se in den drei Subdomänen zeigen, dass knapp ein Drittel der Lernenden förderungsbedürftige Lü-
cken beim mathematischen Basiswissen aufweist. Der Anteil der Lernenden mit Unterstützungsbe-
darf ist in den einzelnen getesteten Subdomänen unterschiedlich groß. Werden die beiden Stichpro-
ben auf der globalen Ebene miteinander verglichen, zeigen sich geringe Unterschiede: bei den VG-
Schulen sind die Anteile der Kinder mit Förderbedarf etwas höher als bei den MSK-Schulen.
3.4 Differenzierte Analysen der Ergebnisse im Schulformvergleich
Die Lernenden, die im Rahmen von „Mathe sicher können“ getestet wurden, besuchen verschiedene
Schulformen der Sekundarstufe I. Tabelle 3 gibt einen Überblick. Daraus ist ersichtlich, dass die ein-
zelnen Schulformen in beiden Stichproben unterschiedlich stark vertreten sind. Für die externe Eva-
luation wurden die Ergebnisse der Leistungsmessung noch einmal differenziert im Schulformvergleich
betrachtet, um festzustellen, ob sich spezifische Schulformeffekte feststellen lassen.
Gesamtergebnis Mathematik im Schulformvergleich. Abbildung 6 zeigt die Ergebnisse der Leistungs-
überprüfung an den MSK-Schulen in Abhängigkeit von den vier Schulformen Hauptschulen (H), Se-
kundarschulen (SEK), Realschulen (R) und Gesamtschulen (GE). An Hauptschulen (sie machen knapp
18% der MSK-Stichprobe aus), liegt der Anteil der Lernenden mit Förderbedarf bei 59%. Die Sekun-
darschulen machen etwa 13% der MSK-Stichprobe aus. Hier benötigt ein Drittel der Lernenden Un-
terstützung. An den Realschulen mit einem Anteil von 25% an der MSK-Stichprobe gibt es 21% Ler-
nende, die Förderung brauchen. An den Gesamtschulen, die 45% der MSK-Stichprobe ausmachen,
hat ebenfalls ein Drittel der Kinder Förderbedarf.
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 13
Abb. 6: Gesamtergebnis Mathematik im Schulformvergleich.
MSK-Schulen (N=4.230 Kinder). Testung Lernende in Mathematik 2015.
Abbildung 7 stellt das Gesamtergebnis Mathematik für die VG-Schulen in Abhängigkeit von der
Schulform dar. An den Hauptschulen, die 10% der Vergleichsstichprobe ausmachen, liegt der Anteil
der Lernenden mit Förderbedarf bei 59%. An den Sekundarschulen (19% Anteil an der VG-
Stichprobe) hat die Hälfte der Kinder Förderbedarf und an den Realschulen (43% Anteil an der VG-
Stichprobe) sind es 19%. Der Anteil der Gesamtschulen ist mit 29% der Stichprobe weniger hoch als
bei den MSK-Schulen. Die Hälfte der Lernenden an diesen Schulen benötigt Förderung.
Abb. 7: Gesamtergebnis Mathematik im Schulformvergleich. VG-Schulen (N=2.065 Kinder). Testung
Lernende in Mathematik 2015.
Im Vergleich der beiden Stichproben nach dem Kriterium der Schulform bestätigen sich bereits früher
festgestellte Stichprobenunterschiede. Gemeinsam ist beiden Stichproben, dass der Anteil der Ler-
nenden mit Förderbedarf mit knapp 60% der getesteten Schülerschaft an den Hauptschulen am
größten ist (der Anteil der Hauptschulen in NRW beträgt 34% der Schulformen). Auch an den Real-
schulen gibt es für beide Stichproben ein ähnliches Verhältnis von Lernenden mit und ohne Förder-
bedarf. Unterschiede zeigen sich bei den Sekundarschulen. Hier ist der Anteil der Kinder mit Förder-
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 14
bedarf an den VG-Schulen höher (MSK: 31%; VG: 58%). Das Gleiche gilt für die Gesamtschulen, bei
denen die VG-Stichprobe einen höheren Anteil an Förderkindern aufweist (MSK: 30%; VG: 61%).
Für die Arbeit im Projekt „Mathe sicher können“ ist der auf die Hauptschulen bezogene Befund aus
dem Schulformvergleich bedeutsam. Demzufolge müssen die Lehrkräfte an den Hauptschulen bei der
Organisation der Förderarbeit mehr und differenziertere Förderung anbieten, als die Lehrkräfte der
anderen Schulformen.
Ergebnisse Rechenoperationen im Schulformvergleich. Abbildung 8 zeigt für die MSK-Stichprobe die
Ergebnisse der Leistungen in der Subdomäne Rechenoperationen im Schulformvergleich. Mit 53%
haben die Hauptschulen den höchsten Anteil an Lernenden mit Förderbedarf in dieser Domäne. An
Sekundarschulen und Gesamtschulen macht diese Gruppe je 31% aus und liegt an den Realschulen
mit 22% am niedrigsten.
Abb. 8: Ergebnis Rechenoperationen im Schulformvergleich.
MSK-Schulen (N=4.230 Kinder). Testung Lernende in Mathematik 2015.
Abbildung 9 zeigt die Ergebnisse für die VG-Schulen. Auch hier ist der Förderbedarf bei den Rechen-
operationen an den Hauptschulen mit 58% am höchsten. Gesamtschulen und Sekundarschulen lie-
gen mit Anteilen von je 46% gleich auf. Und an den Realschulen beträgt der Anteil der Lernenden
mit Unterstützungsbedarf 18%.
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 15
Abb. 9: Ergebnis Rechenoperationen im Schulformvergleich.
VG-Schulen (N=2.065 Kinder). Testung Lernende in Mathematik 2015.
Der Stichprobenvergleich zeigt auch hier wieder Unterschiede und Gemeinsamkeiten zwischen den
Stichproben. Für beide Stichproben besteht ein gleich großer Anteil an Kindern mit Fördernotwen-
digkeit an den Hauptschulen. Bei allen anderen Schulformen liegt der Förderbedarf an den VG-
Schulen höher als an den MSK-Schulen.
Ergebnisse Dezimalsystem im Schulformvergleich. Abbildung 10 zeigt die Ergebnisse für die Stichprobe
der MSK-Schulen. Auch bei dieser Domäne ist der Anteil der Lernenden mit Unterstützungsbedarf
mit 70% an den Hauptschulen am höchsten. Gesamtschulen und Sekundarschulen liegen mit je 47%
gleich auf und an Realschulen beträgt der Anteil 39%. Im Vergleich zu den Ergebnissen in der Do-
mäne Rechenoperationen hat sich die Gruppe der Unterstützungsbedürftigen an den MSK-Schulen
bei allen Schulformen teilweise deutlich erhöht.
Abb. 10: Ergebnis Dezimalsystem im Schulformvergleich.
MSK-Schulen (N=4.230 Kinder). Testung Lernende in Mathematik 2015.
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 16
Die Verhältnisse an den VG-Schulen sind in Abbildung 11 dargestellt. Mit 65% Lernenden ist der
Anteil der Förderbedürftigen an den Hauptschulen am höchsten. Es folgen die Gesamtschulen mit
61% und die Sekundarschulen mit 58%. Am niedrigsten ist der Anteil mit 35% an den Realschulen.
Auch hier zeigt der Vergleich mit den Ergebnissen aus der Domäne Rechenoperationen zum Teil
deutliche Anstiege des Anteils der Lernenden mit Unterstützungsbedarf. Die Förderpopulation an
den Gesamtschulen liegt fast auf dem Niveau der Hauptschulen.
Abb. 11: Ergebnis Dezimalsystem im Schulformvergleich.
VG-Schulen (N=2.065 Kinder). Testung Lernende in Mathematik 2015.
Der Vergleich der beiden Stichproben im Bereich der Domäne Dezimalsystem zeigt, dass erneut in
beiden Stichproben die Hauptschulen die höchsten Anteile an Kindern mit Förderbedarf aufweisen
und die Realschulen die geringsten. An den Gesamtschulen und Sekundarschulen zeigen sich Unter-
schiede in den beiden Stichproben. Wie bereits bei der Domäne Rechenoperationen liegen auch
beim Dezimalsystem bei der MSK-Stichprobe die Anteile der Lernenden mit Unterstützungsbedarf
unterhalb derer der VG-Stichprobe.
Ergebnisse Sachrechnen im Schulformvergleich. Abbildung 12 zeigt die Analyseergebnisse für die MSK-
Stichprobe. Mit 85% liegt die Gruppe der Lernenden, die in diesem Bereich Unterstützung braucht,
an den Hauptschulen deutlich höher. Gesamtschulen und Sekundarschulen liegen mit 60% und 58%
Förderbedürftiger fast gleichauf. Und an den Realschulen macht diese Gruppe 52% aus. Der Anstieg
der Förderpopulation ist in allen Schulformen gegenüber den Ergebnissen aus der Domäne Dezimal-
system deutlich. Besonders auffällig ist die Zunahme an den Realschulen mit 13 Prozentpunkten.
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 17
Abb. 12: Ergebnis Sachrechnen im Schulformvergleich.
MSK-Schulen (N=4.230 Kinder). Testung Lernende in Mathematik 2015
In Abbildung 13 sind die Ergebnisse für die VG-Schulen dargestellt. Auch hier ist die Gruppe mit För-
derbedarf an den Hauptschulen mit 80% am stärksten. Ihr folgen Sekundar- (77%) und Gesamtschu-
len (76%). An den Realschulen ist der Anteil der zu Fördernden mit 48% am geringsten. Verglichen
mit den Ergebnissen aus der Domäne Dezimalsystem gibt es beim Sachrechnen einen auffälligen
Anstieg des Unterstützungsbedarfs bei allen Schulformen im zweistelligen Prozentpunkte-Bereich.
Am stärksten fällt er bei den Sekundarschulen aus (Zuwachs um 19 Prozentpunkte). Aber auch die
Realschulen verzeichnen eine Zunahme des Anteils an Lernenden mit Unterstützungsbedarf um 13
Prozentpunkte.
Abb. 13: Ergebnis Sachrechnen im Schulformvergleich.
VG-Schulen (N=2.065 Kinder). Testung Lernende in Mathematik 2015
Vergleicht man die beiden Stichproben, wird deutlich, dass auch in der Domäne Sachrechnen im
Schulformvergleich die Hauptschulen den größten Anteil von Lernenden mit Förderbedarf haben und
die Realschulen den kleinsten. Die Stichproben unterscheiden sich bei den Gesamt- und Sekundar-
schulen. Bei diesen beiden Schulformen liegen die Anteile der Unterstützungsbedürftigen bei der
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 18
VG-Gruppe deutlich höher als bei den MSK-Schulen (SEK - +19 Prozentpunkte, GE - +16 Prozent-
punkte). Gegenüber der Domäne Dezimalsystem zeigt sich bei allen Schulformen ein teilweise deutli-
cher Anstieg der Population mit Förderbedarf.
4 Zusammenfassung
Zusammengefasst bieten die Befunde der Basismessung folgendes Bild: Die Vollerhebung der Ma-
thematikleistungen im Sommer 2015 zu Beginn der fünften Jahrgangsstufe zeigt bei den MSK-
Schulen für ein knappes Drittel der Lernenden Unterstützungsbedarf im Bereich des mathematischen
Basiswissens. Wird dieser Förderbedarf nach einzelnen Domänen weiter differenziert, so zeigt sich,
dass 30% der Lernenden Unterstützung im Bereich der Rechenoperationen benötigen. Dieser Anteil
steigt beim Dezimalsystem auf knapp die Hälfte an und macht beim Sachrechnen 60 Prozent der
getesteten Population aus. Bei den VG-Schulen liegt der Anteil der Kinder mit Förderbedarf insge-
samt und in den einzelnen Subdomänen der Mathematikleistung etwas höher. Allerdings macht der
Unterschied lediglich bei der Subdomäne Dezimalsystem einen Anteil von zehn Prozentpunkten aus,
um die die Vergleichspopulation schwächer abschneidet als die Population aus den MSK-Schulen.
Die Basismessung zeigt damit prinzipiell vergleichbare Ausgangssituationen der beiden Populationen.
Auf dieser Grundlage können weitere Messungen durchgeführt werden, die dann zeigen sollen, ob
bei der Interventionsstichprobe der MSK-Schulen Veränderungen sichtbar werden, die sich auf die
Arbeit mit dem Material von „Mathe sicher können“ und das daran geknüpfte Projekt zurückführen
lassen.
Erwartungsgemäß zeigen sich beim Vergleich der Stichproben nach weiteren Kriterien (hier: Schul-
formvergleich) größere Unterschiede als beim ersten globalen Vergleich. Es ist anzunehmen, dass
eine weitere Differenzierung der Analysekriterien (z.B. Migrationsstatus) noch mehr Unterschiede
sichtbar werden lässt. Die Unterschiede hängen mit der Art und Weise des Zustandekommens der
VG-Stichprobe zusammen, die letztlich auf der Basis der Freiwilligkeit der Teilnahme an der Untersu-
chung und damit unter Vernachlässigung der vorgegebenen Auswahlkriterien rekrutiert wurde. Trotz
der bestehenden Unterschiede zwischen den Stichproben sind Messwiederholungen an beiden
Stichproben möglich und sinnvoll. Bei den Analysen wird es darauf ankommen, ein Maß festzulegen,
anhand dessen ein Vergleich der Daten durchgeführt werden kann.
Auf einzelne Auffälligkeiten soll im Zusammenhang dieser ersten Bestandsaufnahme noch eingegan-
gen werden:
Sowohl die Analyse auf der globalen Ebene als auch der anschließende Schulformvergleich
haben deutlich gemacht, dass die Kinder zu Beginn der fünften Jahrgangsstufe erhebliche
Probleme beim Sachrechnen haben. Dies wird darauf zurückgeführt, dass das Sachrechnen
stets inhaltliches Denken voraussetzt, während die anderen Skalen des Tests auch reine Re-
chenaufgaben enthalten. Aus Sicht der externen Evaluation benötigen MSK-Lehrkräfte be-
sondere Anleitung, um der Entwicklung des inhaltlichen Denkens (Zahl- und Operationsver-
ständnis) angemessenen Raum zu geben.
Die MSK-Lehrkräfte an den Hauptschulen stehen aufgrund des hohen Anteils an förderbe-
dürftigen Schülerinnen und Schülern vor besonderen Herausforderungen: Sie müssen beson-
ders viele Fördergelegenheiten anbieten, benötigen möglicherweise besondere Unterstüt-
zung bei der Diagnose der Leistungsfortschritte sowie geeignetes Material. Hier wäre durch
die Projektorganisation zu prüfen, ob dieser Personenkreis durch spezifische Maßnahmen bei
der Wahrnehmung seiner Aufgaben unterstützt werden könnte und sollte.
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 19
Es bestehen kaum Leistungsunterschiede zwischen Gesamt- und Sekundarschulen. Offen-
sichtlich ähnelt sich die Schülerpopulation an beiden Schulformen.
An den Realschulen ist der Anteil der Lernenden mit Förderbedarf bei beiden Stichproben
am geringsten. Aber auch hier haben alarmierende 52% (MSK) bzw. 48% (VG) der Schüle-
rinnen und Schüler förderbedürftige Lücken bei den Sachaufgaben.
Im Stichprobenvergleich bestehen Leistungsunterschiede bei den Gesamt- und Sekundar-
schulen. In der Vergleichsstichprobe ist der Anteil der Lernenden mit Unterstützungsbedarf
um 17% höher als an den MSK-Schulen. Bei den anderen Schulformen sind die Quoten der
Förderbedürftigen vergleichbar. Daraus wird gefolgert, dass die wahrgenommenen Unter-
schiede zwischen den beiden Stichproben aus den Unterschieden der beiden Populationen
an Gesamt- und Sekundarschulen erklärbar sind. Das ist bei der Wiederholungsmessung zu
beachten.
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 20
6 Bibliographie
Ball, D. L. & Cohen, D. K. (1999). Developing practice, developing practitioners: Toward a prac-
tice-based theory of professional education. In G. Sykes & L. Darling-Hammond (Eds.).
Teaching as the learning profession: Handbook of policy and practice (pp. 3-32). San Fran-
cisco: Jossey Bass.
Borko, H. (2004). Professional development and teacher learning: Mapping the terrain. Educa-
tional Researcher, 33 (8), 3-15.
Desimone, L. M. (2009). Improving impact studies of teachers‘ professional development: To-
ward better conceptualizations and measures. Educational Researcher, 38 (3), 181-199.
Garet, M. S., Porter, A. C., Desimone, L., Birman, B. F. & Yoon, K. S. (2001). What makes pro-
fessional development effective? Results from a national sample of teachers. American
Educational Research Journal, 38 (4), 915-945.
Hall, G. E & Hord, S. M. (2014). Implementing Change. Patterns, Principles and Potholes (4th ed.).
Upper Saddle River, NJ: Pearson.
Moser Opitz, E., Freesemann, O., Grob, U. & Prediger S. (2016a). BASIS-MATH-G 4+-5. Grup-
pentest zur Basisdiagnostik Mathematik für das vierte Quartal der 4. Klasse und für die 5.
Klasse. Bern: Hogrefe.
Moser Opitz, E., Freesemann, O., Grob, U. & Prediger S. (2016b). Manual zum BASIS-MATH-G
4+-5. Gruppentest zur Basisdiagnostik Mathematik für das vierte Quartal der 4. Klasse und
für die 5. Klasse. Bern: Hogrefe.
Pant, H. A., Stanat, P., Schroeders, U., Roppelt, A., Siegle, T. & Pöhlmann, C. (Hrsg.) (2013).
IQB-Ländervergleich 2012. Mathematische und naturwissenschaftliche Kompetenzen am
Ende der Sekundarstufe I. Münster u.a.O.: Waxmann.
Rogers, E. M. (2003). Diffusion of Innovations (5th ed.). New York u.a.O.: Free Press.
Slavin, R. E. (2008a). Perspectives on evidence-based research in education. What works? Issues
in synthesizing educational program evaluations. Educational Researcher, 37 (1), 5-14.
Slavin, R. E. (2008b). Evidence based reform in education: Which evidence counts? Educational
Researcher, 37 (1), 47-50.
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 21
ANHANG
Anhang A1: Informationsschreiben an die Schulen aus „Mathe sicher können“
An die
Schulleitungen und
Lehrkräfte der Schulen im
Projekt „Mathe sicher können“
Juni 2015
Testung der Lernenden im August 2015
Liebe Kolleginnen und Kollegen,
Ihre Schule nimmt am Projekt „Mathe sicher können“ teil. Dieses Projekt wird von der Techni-schen Universität Dortmund durchgeführt, um das mathematische Basiswissen zu sichern. Unter der Federführung von Prof. Dr. Susanne Prediger wurde ein spezielles Material entwickelt, das in den fünften und sechsten Klassen an ausgewählten Schulen eingesetzt wird. Das Kieler Leib-niz-Institut für die Pädagogik der Naturwissenschaften und Mathematik (IPN) begleitet das Pro-jekt in meiner Verantwortung wissenschaftlich. Finanziell werden das Projekt und seine Evalua-tion durch die Deutsche Telekom Stiftung unterstützt.
Mit dem heutigen Schreiben informieren wir Sie über die erste Maßnahme im Rahmen der Be-gleitforschung. Parallel dazu erhalten die Eltern ein Informationsschreiben.
Mathematikkenntnisse erfassen
Am Anfang des Schuljahrs erfassen wir die Mathematikkenntnisse aller Fünftklässlerinnen und Fünftklässler an Ihrer Schule. Die Erhebung findet im Klassenverband statt unter Einsatz des validen Tests BASIS MATH G (Hogrefe) von Prof. Dr. Elisabeth Moser Opitz und anderen. Er überprüft die Bereiche Operation, Dezimalsystem und Sachaufgaben und liefert Informationen, in welchem Bereich Unterstützungsbedarf vorliegt und wo evtl. noch genauer diagnostiziert werden sollte.
Durchführung des Tests
Wir testen zwischen dem 14. und dem 20. August 2015. Der Test findet an einem Tag statt und dauert eine Schulstunde (45 Minuten). Wir planen eine Rüstzeit von 15 Minuten ein, so dass insgesamt 60 Minuten zur Verfügung stehen sollten. Noch vor Beginn der Sommerferien weisen wir Ihrer Schule ein Testfenster zu, d.h. Sie erfahren den genauen Tag, an dem in den einzelnen Klassen getestet wird.
Der Test wird durch geschulte Testleiterinnen und Testleiter durchgeführt. Sie bringen die Test-hefte mit, in denen jedes Kind die Aufgaben schriftlich löst. Am Ende der Testung sammeln sie alle Hefte wieder ein und nehmen sie mit. Der Test hat eine Version A und eine Version B. Alle Kinder, die (von vorn aus gesehen) auf dem rechten Platz sitzen, bearbeiten Version A, die da-neben sitzenden Kinder bearbeiten Version B.
Bitte stellen Sie sicher, dass …
es Räumlichkeiten gibt, in denen getestet werden kann
in diesen Räumen die Tische und Stühle möglichst in Reihen hintereinander stehen und so angeordnet sind, dass immer zwei Kinder nebeneinander sitzen
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 22
pro Klasse eine vollständige und fortlaufend nummerierte Klassenliste vorliegt, die Sie an die Testleitung weitergeben
pro Testung eine Lehrperson während der ganzen Testzeit im Klassenraum ist
Auswertung des Tests
Am 21. und 22. August 2015 werden die Tests an der Technischen Universität Dortmund korri-giert. Ab Montag, 24. August melden wir an Sie für jedes Kind das Gesamtergebnis des Ma-thematiktests zurück sowie die Ergebnisse in den Bereichen Rechenoperationen, Dezimalsystem und Sachaufgaben.
Wiederholung des Tests
Am Ende der fünften Klasse wird der Test wiederholt, um festzustellen, wie wirkungsvoll die Materialien aus „Mathe sicher können“ und die darauf basierende Förderarbeit sind. Details dazu erfahren Sie im zweiten Halbjahr des kommenden Schuljahrs.
Weitere Arbeit mit den Ergebnissen aus den Tests
Wir werten die Testergebnisse noch weiter aus. Dafür anonymisieren wir jedes Testheft und nehmen eine Reihe statistischer Berechnungen vor. Über die Ergebnisse der Testung verfasst das IPN in Absprache mit „Mathe sicher können“ einen Bericht, der an die Deutsche Telekom Stiftung geht.
Weitere Informationen …
bekommen Sie bei:
Dr. Claudia Fischer Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik (IPN) an der Universität Kiel Olshausenstr. 62 24098 Kiel Tel. 0431 880 3136 Fax 0431 880 2629 email: [email protected] www.ipn.uni-kiel.de
Mit freundlichen Grüßen
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 23
Anhang A2: Informationsschreiben an die Schulen der Vergleichsstichprobe
IPN · Olshausenstr. 62 · 24098 Kiel
An die
Schulleitungen und
Lehrkräfte der Vergleichsschulen
für „Mathe sicher können“
Juni 2015
Testung der Lernenden im August 2015
Liebe Kolleginnen und Kollegen,
Ihre Schule ist eine von 20 so genannten Vergleichsschulen, die in Absprache mit den Bezirks-regierungen ausgewählt wurden. Diese Schulen nehmen (noch) nicht am Projekt „Mathe sicher können“ teil, beteiligen sich aber im Schuljahr 2015/2016 an zwei Testungen in den fünften Klassen, deren Ergebnisse zeigen sollen, wie sich die mathematische Kompetenz der Kinder im Lauf der Zeit entwickelt.
Wir danken Ihnen sehr herzlich für Ihre Bereitschaft, die Studie zu unterstützen und informieren Sie mit diesem Schreiben über die geplante Maßnahme. Parallel dazu erhalten die Eltern ein Informationsschreiben.
„Mathe sicher können“ …
wird von der Technischen Universität Dortmund durchgeführt, um das mathematische Basiswis-sen zu sichern (www.mathe-sicher-koennen.de). Unter der Federführung von Prof. Dr. Susanne Prediger wurde ein spezielles Material entwickelt, das in den fünften und sechsten Klassen an derzeit 42 Projektschulen eingesetzt wird. Das Kieler Leibniz-Institut für die Pädagogik der Na-turwissenschaften und Mathematik (IPN) begleitet das Projekt in meiner Verantwortung wis-senschaftlich. Finanziell unterstützt die Deutsche Telekom Stiftung Projekt und Evaluation.
Mathematikkenntnisse erfassen
Am Anfang des Schuljahrs erfassen wir die Mathematikkenntnisse aller Fünftklässlerinnen und Fünftklässler an Ihrer Schule. Die Erhebung findet im Klassenverband statt unter Einsatz des validen Tests BASIS MATH G (Hogrefe) von Prof. Dr. Elisabeth Moser Opitz und anderen. Er überprüft die Bereiche Operation, Dezimalsystem und Sachaufgaben und liefert Informationen, wo Unterstützungsbedarf vorliegt und wo evtl. noch genauer diagnostiziert werden sollte.
Durchführung des Tests
Wir testen zwischen dem 14. und dem 20. August 2015. Der Test findet an einem Tag statt und dauert eine Schulstunde (45 Minuten). Wir planen eine Rüstzeit von 15 Minuten ein, so dass wir insgesamt 60 Minuten brauchen. Noch vor Beginn der Sommerferien weisen wir Ihrer Schu-le ein Testfenster zu, d.h. Sie erfahren den genauen Tag, an dem in den einzelnen Klassen ge-testet wird.
Geschulte Testleiterinnen und Testleiter führen den Test durch. Sie bringen die Testhefte mit, in denen jedes Kind die Aufgaben schriftlich löst. Am Ende der Testung sammeln sie alle Hefte wieder ein und nehmen sie mit. Der Test hat eine Version A und eine Version B. Alle Kinder,
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 24
die (von vorn aus gesehen) auf dem rechten Platz sitzen, bearbeiten Version A, die daneben sitzenden Kinder Version B.
Bitte stellen Sie sicher, dass …
es Räumlichkeiten gibt, in denen getestet werden kann
in diesen Räumen die Tische und Stühle möglichst in Reihen hintereinander stehen und so angeordnet sind, dass immer zwei Kinder nebeneinander sitzen
pro Klasse eine vollständige und fortlaufend nummerierte Klassenliste vorliegt, die Sie an die Testleitung weitergeben
pro Testung eine Lehrperson während der ganzen Testzeit im Klassenraum ist
Auswertung des Tests
Die Korrektur nehmen die Testleiterinnen und Testleiter vor. Pro Kind melden wir an Sie das Gesamtergebnis des Mathematiktests zurück sowie die Ergebnisse in den Bereichen Rechenope-rationen, Dezimalsystem und Sachaufgaben.
Wiederholung des Tests
Am Ende der fünften Klasse wird der Test wiederholt, um festzustellen, wie sich die mathemati-sche Kompetenz der Kinder entwickelt hat. Details dazu erfahren Sie im zweiten Halbjahr des kommenden Schuljahrs.
Weitere Arbeit mit den Ergebnissen aus den Tests
Wir werten die Testergebnisse noch weiter aus. Dafür anonymisieren wir jedes Testheft und nehmen eine Reihe statistischer Berechnungen vor. Über die Ergebnisse der Testung verfasst das IPN in Absprache mit „Mathe sicher können“ einen Bericht, der an die Deutsche Telekom Stiftung geht.
Weitere Informationen …
bekommen Sie bei:
Dr. Claudia Fischer Leibniz-Institut für die Pädagogik der Naturwissenschaften und Mathematik (IPN) an der Uni-versität Kiel Olshausenstr. 62 // 24098 Kiel // Tel. 0431 880 3136 // Fax 0431 880 2629 email: [email protected] www.ipn.uni-kiel.de
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 25
Anhang A3: Blanco-Formular einer Klassenliste
Klassenliste für die Testung von Fünftklässlerinnen und Fünftklässlern
mit dem Test BASIS MATH G4+ im August 2015
Name der Schule: …………………………………………………………………………...
Name der Klasse: ……………………………………………………………………………
Name der aufsichtführenden Lehrperson: ………………………………………………
Tag und Uhrzeit der Testung: …….……………………………………………………….
Nummer des Kin-
des
Vorname und Name des Kindes Testform A Testform B
1 2
3 4 5
6 7 8
9 10 11 12
13 14 15
16 17 18
19 20 21
22 23 24
25 26 27
28 29 30
31 32
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 26
Anhang A4: Rückmeldebogen für die Schulen (blanco)
Anschrift
Testung der Fünftklässlerinnen und Fünftklässler in Mathematik im August 2015 August 2015
Liebe Kolleginnen, liebe Kollegen,
zwischen dem 14. und dem 20. August 2015 wurden 6.500 Fünftklässlerinnen und Fünftklässler in Nordrhein-Westfalen in Mathematik getestet. Auch der gesamte fünfte Jahrgang an Ihrer Schule war an der Testung beteiligt. In diesem Zusammenhang danken wir Ihnen sehr herzlich dafür, dass Sie den reibungslosen Ablauf der Testung unterstützt haben. Heute erhalten Sie die Testergebnisse (auf der zweiten Seite dieses Schreibens). Die Ergebnisse sind dafür gedacht, Ihnen die Einteilung der Lernenden in die Fördergruppen zu erleichtern und Ihnen genauere Hinweise auf den Förderbedarf zu geben.
Bitte beachten Sie, dass die Ergebnisse eines einzelnen Tests immer im Kontext der anderen Leistungen eines Kindes betrachtet werden müssen. Die Ergebnisse des Tests eignen sich nicht für die Notengebung.
Bei Rückfragen wenden Sie sich gern an:
Dr. Claudia Fischer [email protected] 0431 880 3136
Mit freundlichen Grüßen Claudia Fischer Externe Evaluation des Projekts „Mathe sicher können“
„Mathe sicher können“ – Externe Evaluation. Leistungstestung 2015 27
Rückmeldung zu den Ergebnissen des Mathematik-Tests, August 2015 Schule XYXYX // Klasse XYXYX
Sie finden unten eine Tabelle mit den Testergebnissen Ihrer Schülerinnen und Schüler. In der ersten Spalte sind die Kindernummern aufgeführt. Sie entsprechen den Nummern in Ihrer Klassenliste. Für jedes Kind können Sie das gesamte Testergebnis für Mathematik ablesen, das sich zusammensetzt aus den Einzelergebnissen in den Bereichen Rechenoperationen, Dezimal-system (=Zahlenstrahl, Bündeln, Zählen) und Sachrechnen. In der Kopfzeile finden Sie für jeden Bereich die maximal erreichbare Punktzahl. Je näher das Testergebnis eines Kindes an dieser ma-ximal erreichbaren Punktzahl liegt, desto sicherer ist sein mathematisches Basiswissen.
Num-mer des Kin-des
A B Gesamtergebnis Mathematik-Test(max. erreichbar:
60 Punkte)
Ergebnisim Teilbereich
Rechen- operationen
(max. erreichbar: 32 Punkte)
Ergebnis im Teilbereich Dezimalsystem (max. erreichbar:
13 Punkte)
Ergebnisim Teilbereich Sachaufgaben
(max. erreichbar: 15 Punkte)
1
2 3 4
5 6 7
8 9
10
11 12 13
14 15 16
17 18 19
20 21 22
23 24 25
26 27 28
29 30