Zuverlässigkeit von diagnostischen Lehrerurteilen - Reliabilität verschiedener Urteilsmaße bei der Einschätzung von Aufgabenschwierigkeiten

Lintorf Katrin, McElvany Nele, Rjosk Camilla, Schroeder Sascha, Baumert Jürgen, Schnotz Wolfgang, Horz Holger, Ullrich Mark

Abstract

Während die Urteilsakkuratheit von Lehrerurteilen als solche vielfach untersucht wurde, ist über die Reliabilität der eingesetzten Urteilsmaße noch nicht viel bekannt. Die vorliegende Studie untersucht die Paralleltestreliabilität und die interne Konsistenz diagnostischer Urteilsmaße bei der Einschätzung von Aufgabenschwierigkeiten. Die Datengrundlage dafür entstammt einer Schülerstichprobe von N = 1031 und einer Stichprobe von N = 96 Biologie-, Erdkunde- und Deutschlehrkräften aus dem Projekt BiTe („Entwicklung und Überprüfung von Kompetenzmodellen zur integrativen Verarbeitung von Texten und Bildern", Universität Koblenz-Landau/Max-Planck-Institut für Bildungsforschung, Berlin/Technische Universität Dortmund). Für die Analysen wurden anhand von zwei Aufgabenbeispielen mit jeweils sechs Items die von Schrader und Helmke (1987) vorgeschlagenen Urteilskomponenten gebildet. Die Ergebnisse zeigen für alle drei Komponenten, dass die Urteilsakkuratheit bei den beiden Beispielen deutlich variiert. Darüber hinaus wurden konfirmatorische Faktorenanalysen über die in die Niveaukomponente einfließenden Differenzwerte durchgeführt. Sie erbrachten keinen Beleg für eine Eindimensionalität der Urteilsakkuratheit, wodurch keine Interpretation der internen Konsistenz möglich war. Es werden Implikationen einer möglichen Unreliabilität von Akkuratheitsmaßen bei Lehrerurteilen diskutiert und Desiderata für die weitere Forschung formuliert.