© APA/dpa/Armin Weigel

Interview
12/01/2019

Nicht genügend für PISA-Ranking: „Statistisches Voodoo“

Am Dienstag werden die PISA-Ergebnisse publik, Wirbel ist gewiss. Doch ist der Test überhaupt sinnvoll?

von Bernhard Gaul

Seit 19 Jahren sind wir im Bann des PISA-Tests. Nicht nur in Österreich, weltweit sorgen die Ergebnisse dieser internationalen Schulleistungsuntersuchung, hinter der die Organisation für wirtschaftliche Zusammenarbeit und Entwicklung (OECD) steckt, alle drei Jahre für Wirbel. Morgen, Dienstag, werden bereits zum siebenten Mal die Ergebnisse der PISA-Studie vorgestellt.

Insgesamt wurden dafür weltweit mehr als eine halbe Million 15- bis 16-jährige Schüler in fast 80 Ländern in Lesen, Mathematik und Naturwissenschaften getestet. In Österreich waren es zwischen April und Mai 2018 etwa 7.800 Schüler. Der Schwerpunkt lag diesmal auf dem Lesen.

Unumstritten ist der PISA-Test aber nicht: Einer der in Österreich schärfsten Kritiker des Tests – und vor allem der Interpretation der Testergebnisse – ist der Bildungswissenschaftler Stefan Hopmann von der Uni Wien.

KURIER: Am Dienstag werden wieder die PISA-Ergebnisse veröffentlicht. Denken Sie, dass die Aufregung wieder groß sein wird?

Stefan Hopmann: Bei uns in Österreich vielleicht, international ist das längst nicht mehr der Fall. Problematisch sehe ich vor allem das Länder-Ranking, das veröffentlicht wird. Das halte ich für statistisches Voodoo.

Das müssen Sie erklären.

PISA arbeitet nicht mit absolutem Maßstäben, sondern mit relativen: Wenn alle Ergebnisse vorliegen, wird ein Durchschnitt gebildet und dieser 500 Punkten gleichgesetzt. Daran werden die Teilergebnisse geeicht. Was aber auch heißt: Wenn aus welchem Grund auch immer alle Befragten deutlich besser geworden sind, kann man das im Ergebnis nicht sehen. Natürlich auch nicht, wenn alle schlechter geworden sind. Der Schnitt hängt außerdem davon ab, welche Länder teilnehmen. Wenn also neue, schwache Länder dazukommen, kann man bessere Ergebnisse haben, ohne besser geworden zu sein, und umgekehrt: Wenn neue, starke Länder dazukommen, kann man plötzlich schlechter abschneiden. Damit ist das ein hochgradig manipulierbares System.

Die PISA-Fragen für die Schüler klingen doch recht vernünftig, etwa Statistiken richtig interpretieren zu können. Was stört Sie da?

Wenn PISA behauptet, sie würden Mathematik testen, dann stimmt das nicht. Getestet wird nur ein bestimmter, für Vergleichstests brauchbaren Ausschnitt der Mathematik. Vieles wird ja gar nicht getestet. Beim Lesen, wie beim jetzigen Test, testen sie bestimmte Teilleistungen, die sich für solche Vergleichstests gut eignen. Das geht damit los, dass nicht einmal überprüft wird, ob die konkreten Testbereiche in den Lehrplänen der Staaten überall gleich stark verankert oder unterschiedlich gewichtet sind.

Aber Lesen als Kulturtechnik wird doch überall gleich wichtig sein?

Nein, nicht einmal Lesen ist überall gleich. Es gibt nicht eine Sorte Lesen und eine Sorte Rechnen, sondern viele verschiedene Zugänge. Welche Textsorte halte ich für relevant, welche Fragen daraus finde ich relevant. Das sind Auswahlentscheidungen.

Aber ist PISA nicht wenigstens dafür gut, einen internationalen Vergleich zu haben?

Da muss man wissen: Ergebnisse werden nicht eins zu eins verglichen, sondern unterschiedliche gewichtet. Dänische Kollegen haben nachgewiesen, dass die dänischen Schüler je nach Gewichtung bestimmter Aspekte oder wenn bestimmte Fragen ausgenommen werden, im oberen, mittleren oder unteren Feld landen. Das zeigt nur, wie volatil der Test ist, weil nur ein kleiner Teil angesehen werden.

Ist PISA überhaupt ein sinnvoller Test?

Wegen der nicht intendierten Nebeneffekte würde ich sagen: Nein. Aber er ist vermutlich der best gemachte Test seiner Art. Nur sind die Kollateralschäden so groß, dass PISA als Ganzes schädlich geworden ist.

Welche Kollateralschäden meinen sie?

Das Problem ist, dass durch PISA die Länder zunehmend ihre eigenen Bildungssysteme an PISA anpassen. Das Paradoxe ist: Der Maßstab ist zum Ziel geworden.

PISA sagt eigentlich nichts über die Qualität der Bildungssysteme aus?

Richtig, weder über die Qualität des Schulsystems, der Lehrkräfte oder des Unterrichts. Sie können mit PISA keine politischen Kausalaussagen machen, genau das passiert aber, und das halte ich für den schlimmsten Fehler. Wir können nicht sagen, das eine Land ist besser oder schlechter, weil die eine bessere Lehrerausbildung haben, oder weil die eine Gesamtschule haben. Tatsächlich wird herausgezogen: Die Finnen sind besser, weil ... Und wir müssen das jetzt auch so machen. Das wird aber gemacht. Und das hat bereits dazu geführt, dass die gleichen Ergebnisse zu völlig anderen Schlüssen in unterschiedlichen Ländern geführt haben. Etwa herauszulesen, dass die gemeinsame Schule das bessere System ist, während die Norweger es so interpretieren, dass man eigentlich eine Differenzierung braucht.

Was sollte die Politik aus den PISA-Ergebnissen lernen?

Seit 20 Jahren läuft die Politik PISA hinterher, versucht Maßnahmen zu setzen, um beim Test besser abzuschneiden. Wie viel Erfolg hatten wir damit? Keinen. Auch morgen wird wohl nicht rauskommen, dass wir sensationell besser oder schlechter geworden sind. Unterm Strich bleibt aber: Die Politik durch PISA hat nicht zu besseren Leistungen geführt oder zu mehr Chancengleichheit. Sondern eher zu mehr Segregation und mehr Leistungsunterschieden. Die Kollateralschäden sind aber zahlreich: Es leiden die Fächer, die nicht getestet werden, da sie weniger Aufmerksamkeit bekommen. Es geht nur mehr drum, für den PISA-Test besser zu werden. Aus meiner Sicht sollten wir den Test bleiben lassen.