Professionalisierung von Peer Review Evaluationen · 2014-11-26 · Professionalisierung von Peer...

transcript

Professionalisierung von Peer Review Evaluationen Hat die Begutachtungserfahrung von Peers einen Effekt auf die Evaluationsergebnisse? Eine Präsentation von Juliane Mosel

11. September 2014 | 17. Jahrestagung der DeGEval: Professionalisierung in und für Evaluationen | Juliane Mosel | 2

Agenda

1. Einführung

Technische Universität Darmstadt – Kurzprofil

Integriertes Qualitätsmanagement an der TU Darmstadt

2. Analyse der bis heute durchgeführten Evaluationen

Zusammensetzung der Kommissionen

Empfehlungen der Kommission und Zielvereinbarungen

Merkmale der Verfahren

Geschlecht und Nationalität der Evaluationskommissionen

3. Fazit und Ausblick

Herkunft

gegründet 1877

verankert In der Metropolregion Rhein-Main-Neckar, einer der dynamischsten und stärksten Regionen Europas

gefördert Durch mehr als 240,9 Millionen Euro vom Land Hessen und 160,3 Millionen an Drittmitteln

Menschen

25.100 Studierende

293 Professorinnen und Professoren

2.400 wissenschaftliche Mitarbeiterinnen und Mitarbeiter

1.850 administrativ-technische Mitarbeiterinnen und Mitarbeiter

Richtungen

13 Fachbereiche

5 Studienbereiche

110 Studiengänge

6 Sonderforschungsbereiche

7 Graduiertenkollegs

1 Exzellenz-Forschungs-Cluster

2 Exzellenz Graduate-Cluster

3 LOEWE-Exzellenz-Zentren

8 LOEWE-Exzellenz-Schwerpunkte

Fächerspektrum und Fachbereiche

13 FBs

35 % 15%

Instrument zur ganzheitlichen Qualitätssicherung

Grundlage für Zielvereinbarungen

Rechenschaftslegung

Austausch über best practices

Unterstützung bei der Strategie- und Profilbildung

Unterstützung bei der strategischen Hochschulsteuerung und -entwicklung

Institutionelle Evaluation

Ganzheitlicher Ansatz

zu begutachtende Bereiche:

Struktur und Organisation

Forschung

Nachwuchsförderung

Studium und Lehre

Einbindung der Ergebnisse anderer Qualitätssicherungsinstrumente

alle Einheiten der Universität

Einbindung aller Statusgruppen der Einheit

Überblick über Verfahrensstand (2009-heute)

Anzahl Verfahrensstand

7 (Teil-)Fachbereiche Umsetzung der Zielvereinbarung (Monitoring)

4 Fachbereiche Zielvereinbarungsprozess

2 (Teil-)Fachbereiche Laufende Verfahren, Begehungen im WS 2014/15

1 Fachbereich ausstehend

1 Zentrale Einrichtung Umsetzung der Zielvereinbarung (Monitoring)

Zentrale Verwaltung Zielvereinbarungsprozess

2. Zyklus Fachbereiche geplant ab 2015

Selbstevaluation und Selbstbericht

Vor-Ort-Begehung

Evaluationsbericht

Stellungnahme zum Evaluationsbericht

Verhandlung und Unterzeichnung

Maßnahmenprogramm

Stellungnahme zur Zielvereinbarung

Entwurf der Zielvereinbarung

Umsetzung und Berichtswesen

Zentrales Monitoring

Zielvereinbarung und Maßnahmenprogramm

Umsetzung und Monitoring

Eröffnung des Verfahrens Begutachtung

Benennung der Evaluations-kommission

Schaubild: M. Hagemeister, 2012.

Fachbereich

Präsidium der TU Darmstadt

Referat Qualitätsmanagement

Evaluationskommission

Hochschulrat | Senat

Verfahrensablauf im Überblick

Vor-Ort-Begehung

Evaluationsbericht

Stellungnahme zum Evaluationsbericht

Maßnahmenprogramm

Eröffnung des Verfahrens

Benennung der Evaluationskommission

Zusammensetzung der Kommission

Vorsitzende/r

Auswahlkriterien Unabhängigkeits- kriterien

Ernennung durch den Präsidenten

Akzeptanz und Anerkennung beim FB

Auswahlprozess

Auswahlkriterien Unabhängigkeits-kriterien

Akzeptanz und Anerkennung beim

Auswahlprozess

herausragende wissenschaftliche Reputation

Erfahrungsschatz in Begutachtungen und Akad. Selbstverwaltung

heterogene Zusammensetzung

Abdecken der zentralen inhaltlich-fachlichen

Schwerpunkte des FB

Auswahlkriterien

Auswahlprozess

Unabhängigkeits- kriterien

persönliche/vertragliche Verbindung mit FB

Bewerbung/Beteiligung an Berufungs- verfahren „Lehrer-Schüler“-Verhältnis

wissenschaftlichen Kooperationen

wissenschaftliche Konkurrenz

wirtschaftliche Konkurrenz

kein(e)

Auswahlprozess

Vorschläge für Kandidat/innen vom Präsidenten, dem

Vorsitz der Kommission und dem Fachbereich

Ansprache der Kandidat/innen durch den Präsidenten/ Vorsitz der Kommission

Auswahlprozess

Akzeptanz und Anerkennung beim FB

Möglichkeit für den Fachbereich, potentielle

Gutachterinnen und Gutachter vorzuschlagen

Benennung inhaltlich-fachlicher Schwerpunkte durch den FB

Benennung der Gutachterinnen und Gutachter erfolgt im Einvernehmen mit dem FB

Analyse der bis heute durchgeführten Evaluationen

Zusammensetzung der Evaluationskommissionen - Auswahlkriterien

Herausragende wissenschaftliche Reputation

Zentrales Auswahlkriterium durchgehend erfüllt

Erfahrungen in akademischer Selbstverwaltung

Alle Kommissionsmitglieder haben Erfahrung in akademischer Selbstverwaltung

Abdeckung der zentralen inhaltlich-fachlichen Schwerpunkte des Fachbereichs

erfolgt in Absprache mit den Fachbereichen

Zusammensetzung der Evaluationskommissionen - Auswahlkriterien

Erfahrungen mit Evaluationen

Ergebnisse aus Feedbackbefragungen der

Kommissionsmitglieder

Wenigerals fünfGenaufünfMehr alsfünf

Ergebnisse aus eigener Recherche

unbekannt

Zusammensetzung der Evaluationskommissionen Unabhängigkeitskriterien

Transparenz bei der Auswahl der Kommissionsmitglieder

Referat QM prüft objektive Indikatoren

Fachbereich informiert über mögliche Befangenheiten der Kommissionsmitglieder

Selbstauskunft der Kommissionsmitglieder

Aussagen über vollständige Erfüllung der Unabhängigkeitskriterien nur schwer möglich

Evaluationsergebnisse - Präzision

Evaluationsberichte weisen unterschiedlich großen Umfang und inhaltliche Präzision auf

Faktoren, die die Zielvereinbarungsverhandlungen zwischen Fachbereich und Präsidium beeinflussen

Präzision der Empfehlungen (allgemeine Ziele vs. konkrete Maßnahmenvorschläge)

Konkretisierung der Empfehlungen („zwischen den Zeilen“ vs. „Bullet points“)

Benennung von Verantwortlichen

Je präziser und konkreter die Empfehlungen der Evaluationskommission, desto eher finden sie Eingang in die Zielvereinbarungen

Beispiele für konkrete Empfehlungen (Nachwuchsförderung)

Evaluationsbericht

„Bei der Ausarbeitung des Master Programms sollte auch die Schaffung einer ‚Graduate School‘ in Erwägung gezogen werden. Im Rahmen der „Graduate School“ wäre die Schaffung von ‚PhD committees‘ zu prüfen. Diese beratenden Organe sind einerseits für die Doktorierenden äußerst nützlich, fördern aber auch die Interaktionen der Forschungsgruppenleitenden. Nach Ansicht der Kommission sind solche ‚Committees‘ eine äußerst erfolgreiches Mittel, um Interaktionen über die Departementsgrenzen hinaus zu initiieren und zu fördern.“

Beispiele für weniger konkrete Empfehlungen (Studium und Lehre)

Evaluationsbericht

„Der Anteil internationaler Studierender am Fachbereich erscheint der Evaluationskommission als recht gering, die Attraktivität könnte durch stärkere Wirkung nach außen gesteigert werden.“

Zielvereinbarung

„Der Fachbereich reagiert auf die teilweise geringe Nachfrage nach seinen Masterstudiengängen und nimmt entsprechende Anpassungen vor. Auf Grundlage der universitätsweiten Internationalisierungsstrategie prüft der Fachbereich die Möglichkeiten für eine Internationalisierung insbesondere im Masterbereich und entwickelt hierfür bis Ende 2016 ein Konzept.“

Evaluationsergebnisse - Verfahrenslänge

0 5 10 15

Dauer der Evaluationsverfahren – ausgewählte Aspekte

Dauer vom Zeitpunkt derBegehung bis zum Vorliegendes Evaluationsberichtes

Dauer vom Zeitpunkt desVorliegens desEvaluationsberichtes bis zumZielvereinbarungsgespräch

Eindrücke zur Zufriedenheit mit der Evaluation aus den Feedbackbefragungen

Die Mitglieder der Evaluationskommissionen zeigten durchschnittlich eine hohe bis sehr hohe Zufriedenheit mit dem Prozess

Unter den Fachbereichen variiert die Zufriedenheit mit dem Evaluationsprozess stärker.

In den Fachbereichen zeigt das technische und administrative Personal insgesamt eine höhere Zufriedenheit als die ProfessorInnenschaft

Studierende zeigen geringste Zufriedenheit mit der Evaluation

Für beide Gruppen unterschiedliche Grundlage für die Zufriedenheit

Geschlechter- und Nationalitätsverhältnis in den Evaluationskommissionen

Fachbereich

Geschlechterverhältnis Nationalitätsverhältnis

A w m i d

Anteil der Ziele zu Gleichstellung und Internationalisierung an allen Zielen der ZV

0% 5% 10% 15%

HGFEDCBA

Anteile der Ziele zu Gleichstellung

0% 5% 10% 15%

HGFEDCBA

Anteil der Ziele zu Internationalisierung

Beispiel für konkrete Empfehlungen (Internationalisierung)

Evaluationsbericht

„Ein wesentliches Ziel sollte sein, dem Fachbereich als Ganzes in kooperativen Forschungsprogrammen (DFG-Forschergruppen, SFB) eine noch größere nationale und damit auch internationale Sichtbarkeit zu geben. […] Notwendig ist in Darmstadt [...] eine Verstärkung internationaler Veröffentlichungen in Journalen mit peer-review-Verfahren.“

Zielvereinbarung

„Ziel des Fachbereichs ist es, die Zahl der Publikationen in hochrangigen internationalen referierten Zeitschriften zu erhöhen.“

Beispiel für weniger konkrete Empfehlungen (Gleichstellung)

Evaluationsbericht

„Bei künftigen Ausschreibungen und Berufungen ist auf eine Erhöhung des Frauenanteils zu achten. “

Zielvereinbarung

„Die Wiederbesetzung von Professuren wird dafür genutzt, den Frauenanteil unter der Professorenschaft zu erhöhen. Der Fachbereich berücksichtigt hierbei das Initiativprogramm der TU Darmstadt ‚Forschungsorientierte Gleichstellung von Wissenschaftlerinnen und Gewinnung von Professorinnen‘. “

Verhältnis Empfehlungen Gleichstellung und Internationalisierung

Konkrete Empfehlungen finden auch hier eher Eingang in die Zielvereinbarungen als weniger konkrete

Interessante Beobachtung: auch bei weniger konkret formulierten Empfehlungen treten dennoch konkrete Formulierungen der Ziele in den Zielvereinbarungen auf

Die Zielvereinbarungen orientieren sich neben dem Evaluationsbericht auch an den strategischen Zielen der Universität

Kein erkennbarer deutlicher Zusammenhang zwischen der Zusammensetzung der Evaluationskommission und der inhaltlichen Ausgestaltung der Empfehlungen

Die Empfehlungen der Evaluationskommission können großen Einfluss auf die Zielvereinbarung haben

Konkrete Empfehlungen finden wahrscheinlicher Eingang in die Zielvereinbarung als weniger konkrete

Begutachtungserfahrung kann sich begünstigend auf die Präzision der Empfehlungen auswirken

Zentral für ein Evaluationsverfahren, welches von allen Beteiligten als konstruktiv empfunden wird, ist die Transparenz bei der Auswahl der Kommissionsmitglieder und deren Akzeptanz von den evaluierten Einheiten

Kontakt

Dipl.-Soz. Juliane Mosel

Referentin für Qualitätsmanagement

Technische Universität Darmstadt

Karolinenplatz 5

64289 Darmstadt

Tel. + 49 (0) 6151 16-6914

Fax + 49 (0) 6151 16-5584

E-Mail: mosel.ju@pvw.tu-darmstadt.de

http://www.tu-darmstadt.de/qualitaetsmanagement

Backup

Das Referat Qualitätsmanagement

Dr. Tina Klug (Leiterin des Referats)

Nadine Moldaner (Sekretariat)

Madeleine Hagemeister, M.A. (Referentin)

Dipl.-Soz. Sascha Strack (Referent,)

Carola Dubsky, M.A. (Referentin)

Dipl.-Soz. Juliane Mosel (Referentin)

Das Referat Qualitätsmanagement

Maßnahmenprogramm

Erstellung des Maßnahmenprogramms durch FB

Zielvereinbarungsprozess

Stellungnahme durch Hochschulrat und Senat

Zielvereinbarungsgespräch und Paraphierung

Maßnahmenprogramm

Unterzeichnung der Zielvereinbarung

Maßnahmenprogramm

Umfang und Charakter der Zielvereinbarung

ca. 20 Ziele

Themenbereiche

Struktur und Organisation

Besetzung von Professuren

Forschung

Nachwuchsförderung

Studium und Lehre

keine Beschreibung/Festlegung von konkreten Maßnahmen

Monitoring von Zielvereinbarungen

Grafik: M. Hagemeister, 2012.

Monitoring von Zielvereinbarungen

Erfolgsfaktoren

Monitoring …

… verbindet Qualitätssicherung und Strategie

… schafft Transparenz

… erzeugt Verbindlichkeit und Verlässlichkeit

… befördert Kontinuität

… eröffnet Raum für Anerkennung und Wertschätzung

Professionalisierung von Peer Review Evaluationen · 2014-11-26 · Professionalisierung von Peer...

Documents