Evaluation to nothing - Two studies

Basic data for this talk

Type of talkscientific talk
Name der VortragendenWiesweg, Johannes; Böttcher Wolfgang
Date of talk23/09/2016
Talk languageGerman

Information about the event

Name of the event19. DeGEval-Tagung: „Zwischen Nutzung, Einfluss und Nachhaltigkeit – Wie wirken Evaluationen in unterschiedlichen Systemen?“
Event locationSalzburg
Organised byDeGEval - Gesellschaft für Evaluation e.V.

Abstract

Ins Leere evaluiert - Zwei Fallanalysen an einer Universität Der Vortrag wird zu zeigen versuchen, dass nicht die Evaluation „an sich", sondern nur die die politische und/oder administrative Bereitschaft, Strukturen für mögliche Folgeaktivitäten vorzusehen, „Nachhaltigkeit" bzw. „Nützlichkeit" erzeugen kann. In gewisser Hinsicht sind die im Referat vorgestellten Befunde - mit Blick auf das Tagungsthema - wenig erfreulich. In zwei forschungsorientierten Seminaren zur „Einführung in Evaluation" wurden zwei explorative quantitative Evaluationen entwickelt und durchgeführt, die sich mit evaluativen Instrumenten befassen, die an der eigenen Universität eingesetzt werden. Es geht also in gewisser Hinsicht um Meta-Evaluation aus der Perspektive des Nutzens. Die erste Evaluation bewertete die Konsequenzen, welche die Hochschuladministration aus einem Verfahren zum Assessment personaler und sozialer Kompetenzen angehender Lehramtsstudierender zieht. Die zweite Evaluation bezieht sich auf die Frage nach Konsequenzen der Hochschule aus den studentischen Lehrevaluationen. Befragt wurden im ersten Fall Studierende im Lehramt, im zweiten Fall vorwiegend Studierende in den Gesellschaftswissenschaften. Im ersten Fall ist die Stichprobenziehung repräsentativ für die Grundgesamtheit, im zweiten Fall ist die Stichprobe nicht repräsentativ für die Studierenden der Universität. Es zeigt sich in beiden Fällen, dass (so gut wie) keine Maßnahmen geplant sind (weder strukturell, noch prozessual, noch finanziell), die auf Befunde aus den Verfahren reagieren. Es zeigt sich, dass nicht die Qualität der Evaluation entscheidend ist für Nachhaltigkeit und Nutzen ist, sondern die Einbindung von Evaluation in verbindliche Managementprozesse. Auch wenn unsere Befunde zeigen, dass die Studierenden den Verfahren (Lehrkritik und Self-Assessment) (noch) positiv gegenüberstehen, kann befürchtet werden, dass Evaluationen, die ins Leere gehen, das Ansehen von Evaluation „an sich" beschädigen. Deshalb muss diskutiert werden, wie bereits in der Frühphase evaluativer Maßnahmen eine spätere Nützlichkeit bzw. nachhaltige Verwertung gesichert werden kann.

Speakers from the University of Münster

Böttcher, Wolfgang
Professur für Qualitätsentwicklung/Evaluierung (Prof. Böttcher)
Wiesweg, Johannes
Department II: Social Pedagogy, Continuing Education and Empirical Pedagogy