Analyse der Videodaten

Zur Analyse der Videodaten wurden die aufgezeichneten Lektionen digitalisiert und vollständig transkribiert. Die Codierung aller Lektionen erfolgte auf Grund eines von einer internationalen Expertengruppe über einen Zeitraum von mehr als zwei Jahren entwickelten Codiersystems. Die Videodaten der schweizerischen Stichprobe wurden in einem für die Studie eingerichteten Videolabor am Pädagogischen Institut an der Universität Zürich bearbeitet.

Die internationale Projektgruppe zur Entwicklung der Codes setzte sich aus mindestens einer Vertretung pro Teilnehmerland zusammen. Die Schweiz wurde durch Nicole Kersting (permanent) sowie temporär durch weitere Mitarbeiterinnen der Zürcher Projektgruppe (Christine Pauli, Monika Waldis, Isabelle Hugener, Giuliana Cossi) vertreten. Die Code-Entwicklungsgruppe arbeitete in Santa Monica, Los Angeles unter der Leitung der beiden Professoren Ron Gallimore (University of Los Angeles) und James Hiebert (University of Delaware). Sie pflegte den Kontakt mit den Studienverantwortlichen und deren Mitarbeitern und Mitarbeiterinnen in den Teilnehmerländern. Für nähere Informationen zur Code-Entwicklung siehe www.lessonlab.com/timss1999/codedev.htm sowie Hiebert et al. (2003).

Zur Codierung der Videodaten wurden geschulte Personen eingesetzt, welche grösstenteils die Schulzeit in einem der Teilnehmerländer absolviert hatten sowie über Unterrichtserfahrung und/oder einen erziehungswissenschaftlichen Hintergrund verfügten.

Sowohl im Anschluss an die Codier-Schulung als auch nach der Codierung der Hälfte der Unterrichtsvideos wurden für die einzelnen Gruppen von Codes Reliabilitätsprüfungen zur Ermittlung der Beobachterübereinstimmung durchgeführt. Das Minimum der noch akzeptierten Reliabilität (Cohen's Kappa) wurde für alle Codierpersonen auf anspruchsvolle 85% festgelegt. Für die Codierung wurde die Software Vprism verwendet.

Neben dem internationalen Codeentwicklungsteam beschäftigten sich weitere Expertengruppen mit dem Videomaterial. Die "Mathematical Problem Analysis Group" untersuchte das Anforderungsniveau und die Anordnung der bearbeiteten Aufgaben innerhalb der Lektionen. Die "Mathematics Quality Analysis Group" beurteilte eine zufällige Auswahl von 20 Lektionen pro Land auf Grund schriftlicher Protokolle im Hinblick auf Merkmale der Unterrichtsqualität aus fachdidaktischer Sicht.

Im Rahmen der schweizerischen Vertiefungsstudie wurden und werden ebenfalls weitere Codierungen der Lektionen vorgenommen. U.a. wird in Kooperation mit einer deutschen Forschungsgruppe (Dr. Marten Clausen, Prof. Dr. Eckhard Klieme) die Unterrichtsqualität in allen schweizerischen und in 85 deutschen Mathematiklektionen durch geschulte Beobachterinnen und Beobachter beurteilt.

Die hoch-inferenten Unterrichtsbeurteilungen werden anhand eines Rating-Fragebogens durchgeführt. Je zwei Beobachter aus Deutschland und der Schweiz beurteilen jede Lektion im Hinblick auf Merkmale, die folgenden 4 Aspekten von Unterrichtsqualität zugeordnet werden können:

1. Instruktionseffizienz: Klassenführung, Regelklarheit, Disziplinprobleme, Zeitnutzung u.a.
2. Schülerorientierung: positive Fehlerkultur, individuelle Bezugsnormorientierung, Lernunterstützung u.a.
3. Kognitive Aktivierung: mathematische Produktivität, Anspruchsniveau, Motivierungsfähigkeit u.a.
4. Klarheit und Strukturiertheit: Strukturierungshilfen, Klarheit, Fokussierung u.a.

Die von den vier Beobachtern abgegebenen Urteile für je 30 Lektionen aus der Schweiz und aus Deutschland wurden auf ihre Übereinstimmung hin verglichen. Die statistische Überprüfung ergab, dass die Urteile der Beobachtenden den allgemeinen methodischen Qualitätsstandards genügen. Eine vertiefte Darstellung des hier geschilderten hoch-inferenten Beurteilungsansatzes und die Ergebnisse finden sich bei Clausen, Reusser & Klieme (2003).

_{Clausen, M., Reusser, K. & Klieme, E. (2003). Unterrichtsqualität auf der Basis hoch-inferenter Unterrichtsbeurteilungen: Ein Vergleich zwischen Deutschland und der deutschsprachigen Schweiz. Unterrichtswissenschaft, 31 (2), 122-141. top}