Wie es bewertet wurde

Zwei Urteile aus denselben Klassenzimmern

Die Auswertung des spanischen Pilotversuchs enthält ein Ergebnis, das sich leicht zitieren lässt, und eines, das man leicht überliest. Beide stammen aus denselben zwei Schulen und denselben zwei Schuljahren. Die Lehrkräfte bewerteten das Project Management Dashboard, also jene Weboberfläche, über die sie Projekte vergaben und die abgegebenen Spiele durchsahen, als begehrtes Produkt, das ihre Erwartungen erfüllte. Das ist das stärkste positive Ergebnis der gesamten Studie. Die 115 Schülerinnen und Schüler, dieCreate@School bewerteten, also die App, in der die Spiele tatsächlich entstanden, kamen im Mittel bei neutral heraus. Und sie waren sich untereinander auffällig einig, was es schwer macht, dieses Urteil als Rauschen abzutun.

Bevor daraus ein Gegensatz zwischen Jugendlichen und Lehrkräften wird, lohnt sich Genauigkeit darüber, was hier eigentlich bewertet wurde. Das Dashboard beurteilten ausschließlich Lehrkräfte, denn es war für Lehrkräfte gebaut. Das Urteil Erwachsener über ihr eigenes Planungswerkzeug und das Urteil Jugendlicher über eine Autorenumgebung sind nicht dasselbe. Der Vergleich, der wirklich vergleichbar ist, liegt eine Ebene darunter, und er zeigt in dieselbe Richtung: Beide Gruppen bewerteten Create@School, die Lehrkräfte nahmen die App positiv an, die Jugendlichen landeten bei neutral. Diese Lücke lohnt die Mühe. Wer die Studie zitiert, sollte deshalb immer dazusagen, welches der beiden Werkzeuge gemeint ist und wer es beurteilt hat.

• Bewertende Jugendliche 115, von 308, die die Werkzeuge nutzten
• Lehrkräfte 16
• Alter 8 bis 17 Jahre
• Schulen Zwei, in Úbeda und Puerto de Santa María
• Dauer Zwei Schuljahre, je ein Zyklus

Was der Fragebogen tatsächlich gemessen hat

Erhoben wurde mit dem Modell von Hassenzahl und dem AttrakDiff-Fragebogen. Er zerlegt die Reaktion auf eine Software in vier Dimensionen: pragmatische Qualität, also Zweckmäßigkeit und Funktionalität; hedonische Qualität im Sinne von Identität, also die Frage, wie gut sich mit einem Produkt zeigen lässt, wer man ist; hedonische Qualität im Sinne von Stimulation, also die Frage, ob es etwas Neues zu können gibt; und Attraktivität als Gesamteindruck. Jede Dimension wird über sieben gegensätzliche Wortpaare erhoben, auf einer Skala von minus drei bis plus drei, wobei null die neutrale Mitte ist: verwirrend gegen übersichtlich, herkömmlich gegen neuartig, hässlich gegen schön. In den Ergebnisdiagrammen steht zusätzlich ein Konfidenzrechteck, ein Streuungsmaß, bei dem ein kleineres Rechteck größere Einigkeit bedeutet. Bei den Jugendlichen war es sehr klein.

Und jetzt der Teil, der unmissverständlich sein muss. AttrakDiff fragt, ob Menschen ein Werkzeug praktisch, anregend, zu sich passend und attraktiv finden. Es fragt nicht, ob jemand mehr Mathematik, mehr Biologie oder mehr Sprache gelernt hat, und es kann diese Frage auch nicht beantworten. Nichts auf dieser Seite ist ein Beleg für Lernerfolge. Wer wissen möchte, ob Jugendliche, die ein Spiel gebaut haben, den Stoff besser verstanden haben als andere, findet die Antwort nicht in dieser Studie. Wir betonen das so ausdrücklich, weil genau hier der häufigste Fehlschluss lauert: Aus „wurde angenommen“ wird beim Weitererzählen schnell „hat nachweislich mehr gebracht“, und diese zweite Aussage gibt die Auswertung nicht her.

Was ein neutrales Urteil von Jugendlichen bedeutet

Beide naheliegenden Schlüsse sind falsch. Ein Misserfolg ist es nicht. Die Autorinnen und Autoren berichten, dass Create@School die Erwartungen der Jugendlichen erfüllte und dass die Anwendung angenommen wurde. Auch die Wortpaare fallen nicht flach aus, sondern positiv: Die App wird als praktisch, kreativ, verbindend, vorzeigbar, ansprechend und einfach zu bedienen charakterisiert. Stimulation und Identifikation lagen im überdurchschnittlichen Bereich zwischen null und zwei, die Attraktivität noch etwas darüber. Neutral ist hier ein Mittelwert über vier Dimensionen und kein Achselzucken in jeder einzelnen davon.

Ein Erfolg, den man nur richtig erzählen müsste, ist es aber ebenso wenig. Weder Create@School noch Pocket Code erreichten in irgendeiner Qualität den Höchstwert, und zu diesem Zeitpunkt war keines der beiden Werkzeuge für seine Nutzerinnen und Nutzer schon das begehrte Produkt. Die Studie schreibt das offen über die eigenen Werkzeuge, und ein Text, der diesen Satz zugunsten des Dashboard-Ergebnisses weglässt, liest die Auswertung mit Absicht falsch.

Die Gründe, die die Studie selbst nennt

Diese Erklärungen sind interessanter als die Zahlen, und sie stammen von den Autorinnen und Autoren, nicht von uns. Der erste Grund ist Eigentum im übertragenen Sinn. Die Apps waren von der Schule ausgewählt worden, also behandelten die Jugendlichen sie als Unterrichtsmaterial und nicht als etwas, das sie selbst gewählt hätten. Die Studie nennt das ausdrücklich als einen Grund für die neutrale Bewertung. Wer einer neunten Klasse schon einmal ein von der Schule verordnetes Werkzeug in die Hand gedrückt hat, kennt diese Reaktion.

Der zweite Grund ist, dass das Netz die App mit hinuntergezogen hat. Die Verbindung in den Pilotschulen war schlecht, und die Abbrüche, die daraus folgten, nahmen die Jugendlichen als Fehler von Create@School selbst wahr, nicht als äußeren Umstand. Genau das führte dazu, dass die App als unberechenbar und widerspenstig charakterisiert wurde. Weil die Sicherheitseinstellungen der Schule freies Surfen während des Unterrichts nicht zuließen, konnten die Jugendlichen zudem keine Bilder für ihre Spiele holen und beurteilten die App entsprechend zurückhaltender. Diesen Strang haben wir gesondert auseinandergenommen, inSchulnetz-Realität.

Der dritte Grund ist, dass der Reiz des Neuen verflogen war.

Das Neuheitsparadox

Pocket Code kam zuerst. Jugendliche wie Lehrkräfte empfanden es am Anfang als neu, und im Vergleich der beiden Apps schnitt Pocket Code bei den Lehrkräften in den Punkten professionelle Anmutung, Innovation und Neuheit besser ab. Die Studie führt das auf den Eindruck der ersten Nutzung zurück. Im zweiten Zyklus war Create@School Teil des normalen Unterrichtsalltags geworden, und das Gefühl von Neuheit ließ nach. Das Paradox benennen die Autorinnen und Autoren selbst: Als gewöhnliche Unterrichtspraxis akzeptiert zu werden, ist ein Zeichen von Erfolg, und es senkt zugleich den Neuheitswert.

Wer selbst einmal ein Unterrichtswerkzeug evaluiert, sollte diesen Gedanken ernst nehmen. Die Frage, ob Jugendliche etwas spannend finden, ist in der ersten Woche berechtigt und im achten Monat irreführend, denn dann lautet die ehrliche Antwort bei einem gut eingeführten Werkzeug nun einmal nein. Die Entwicklung, die man eigentlich will, dass ein Werkzeug also aufhört, ein Ereignis zu sein, und stattdessen zu einer Ressource wird, erscheint auf diesem Instrument als Rückgang. Eine Evaluation, die nur die Neuheit misst, empfiehlt am Ende, genau das zu ersetzen, was funktioniert.

Was wir daraus für die Praxis mitnehmen würden

Alles bisher Gesagte stammt aus der Auswertung. Was nun folgt, ist unsere Einschätzung: Unterrichtserfahrung, keine Studienlage, und entsprechend anders zu gewichten.

Fragen Sie zweimal, früh und spät, und rechnen Sie damit, dass die zweite Antwort schlechter ausfällt. Eine einzelne Befragung am Ende des Halbjahres sagt Ihnen nicht, ob ein niedriger Stimulationswert bedeutet, dass das Werkzeug langweilig ist, oder dass es zum Mobiliar geworden ist. Auf diese beiden Fälle müssten Sie sehr unterschiedlich reagieren.

Trennen Sie in Ihrer Frage das Werkzeug von der Infrastruktur. Den Jugendlichen in diesem Pilotversuch ist diese Trennung nicht gelungen, und die Auswertung lässt nicht erkennen, wie viel von der neutralen Bewertung in Wahrheit auf das WLAN entfiel. Die Frage, was genau in dem Moment nicht mehr ging, in dem es nicht mehr ging, bringt Sie weiter als eine allgemeine Bewertung, und sie schützt ein brauchbares Werkzeug davor, für ein schlechtes Netz geradezustehen.

Und behandeln Sie ein neutrales Urteil einer Klasse, die das Werkzeug nicht selbst ausgesucht hat, als vernünftige Obergrenze statt als Enttäuschung. Unser Maßstab für alles, was eine Schule verordnet, lautet: Die Jugendlichen nutzen es ohne Widerstand und bringen etwas zustande, das sie anderen zeigen. Nach dem, was die Studie über die positiven Rückmeldungen berichtet, nämlich ein Spiel bauen zu können, das Freundinnen und Freunde spielen, war dieser Maßstab erfüllt. Das Dashboard sagt von der anderen Seite dasselbe: Angekommen ist es, weil es Lehrkräften messbare Rückmeldungen zu Dingen lieferte, die sie sonst nicht erfassten, und seine einzige benannte Schwäche war, dass sich die Noten nicht in die Schulverwaltung übernehmen ließen.

Wie weit das trägt

Es geht um 115 Jugendliche an zwei andalusischen Schulen zwischen 2015 und 2017, mit den Tablets und Schulnetzen jener Jahre. Man liest das am besten zusammen mit dem, was der Versuch überhaupt prüfen sollte, nachzulesen bei denspanischen Pilotschulen. Dazu kommt eine Einschränkung, die gerade deutschsprachige Leserinnen und Leser betrifft: Die Studie berichtet ausschließlich über den spanischen Pilotversuch. Weil die drei Standorte unterschiedliche Rahmenbedingungen hatten, waren drei getrennte Auswertungen geplant, eine je Standort. Die britische und die österreichische haben wir nicht gefunden, und gerade Letztere dürfte hier interessieren, denn der österreichische Konsortialpartner war die TU Graz, wo auch Pocket Code entstanden ist. Nichts hiervon ist deshalb das Urteil über das Projekt. Es ist das Urteil eines Landes, ehrlich berichtet, und das ist mehr, als die meisten Unterrichtswerkzeuge je bekommen.