Mithilfe von Markov-Ketten können aus Texten Wortfolgen gebildet werden, die den Grammatikregeln ziemlich gut folgen. Siehe dazu Automatische Generierung von Texten und Snap!GPT, sowie SoekiaGPT. Die resultierenden Texte enthalten aber meist unsinnige Passagen, weil sie auf statistischen Wahrscheinlichkeiten und nicht auf einem tieferen Verständnis basieren.
Damit beispielsweise ein Sprachmodell auch inhaltlich passende Texte verfassen kann, greift es nebst anderen Techniken auf sogenannte Worteinbettungen (word embeddings) zurück. Dabei werden Wörter und Begriffe als Vektoren dargestellt und in einem multidimensionalen Raum verortet. Diese Worteinbettungen sollen von den Schülerinnen und Schülern mithilfe entsprechender Blöcke in Snap! untersucht werden.
Die folgende Lerneinheit baut auf der Arbeit von Ken Kahn auf, der entsprechende Unterlagen in englischer Sprache im Rahmen des eCraft2Learn-Projektes der University of Oxford veröffentlicht hat.
Ablauf der Lektion
Zuerst werden die Schülerinnen und Schüler mithilfe einer einfachen mittels vibe coding erstellten Webseite in das Thema eingeführt: Word embeddings entdecken. Dabei handelt es sich um eine starke Vereinfachung des Sachverhalts, die aufzeigen soll: Worteinbettungen erfolgen nicht zufällig, sondern die Platzierung einzelner Begriffe spiegelt Aspekte der Sprache wider.
Vor dem Wechsel zum Snap!-Programm erfahren die Lernenden auch, dass die Koordinaten der Wörter bei Worteinbettungen nicht nur aus zwei Zahlen (zweidimensional) oder drei (3D), sondern aus vielen Dimensionen bestehen, die durch den Vergleich von n-Grammen oder anderen rechnerisch aufwändigen Verfahren bestimmt wurden.
Das Snap!-Programm
Das Snap!-Programm selbst besteht aus drei Teilen: Blocks, 2D-View und Experiments. Es ist hier zu finden: Worteinbettungen – DE.
Blocks listet im Wesentlichen die wichtigsten von Ken Kahn entwickelten Blöcke auf und erklärt deren Funktion, wobei die Schülerinnen und Schüler diese unter der Anleitung der Lehrperson kennenlernen sollen.
Da die recht zahlreichen Blöcke im Programm selbst beschrieben werden, wird hier auf eine genauere Erläuterung verzichtet und nur eine grobe Übersicht gegeben.
Die hinterlegten Worteinbettungen arbeiten mit Vektoren, die 300 Dimensionen aufweisen. Zudem ist der Datensatz multilingual (15 verschiedene Sprachen) und ermöglicht damit auch den Vergleich zwischen Sprachen und Übersetzungen.
Nebst der reinen Darstellung der Vektoren, kann auch nach Wörtern im Umfeld von Begriffen gesucht werden wie etwa in einem Nachschlagewerk für sinn- und sachverwandte Wörter. Und es ist möglich mittels Verrechnung von Vektoren Analogien zu berechnen.
2D-View ermöglicht die Projektion der Vektoren auf eine Ebene und ermöglicht damit die Erkundung von Wörtern in Hinblick auf spezifische Eigenschaften.
Zwar liefert Ken Kahn bereits einen Block, mit dem die Vektoren in der Ebene abgebildet werden, bei den üblichen Verfahren gehen aber meist gerade diejenigen Zusammenhänge verloren, die bei der Verrechnung von Vektoren überraschenderweise zutage treten.
Deshalb wurde das Snap!-Programm um weitere Blöcke ergänzt, welche die Berechnung entsprechender Achsen erlaubt, mit deren Hilfe die Wörter dann so in der Ebene abgebildet werden können, dass diese Zusammenhänge grafisch einfach ersichtlich werden.
Das zu Verfügung gestellte Beispiel stellt Verwandtschaftsbeziehungen in Bezug auf Alter und Geschlecht dar.
Dabei wurde das Beispiel bewusst in englischer Sprache gehalten, damit die Schülerinnen und Schüler dieses in einem ersten Schritt ins Deutsche übertragen können. Die Definition der Achsen mittels entsprechender Wortpaare ist nämlich anspruchsvoll und fordert zum Experimentieren heraus.
Da auch Schülerinnen und Schüler der Sekundarstufe I mit diesen Blöcken arbeiten sollen, wurden die benötigten Berechnungen bewusst wegabstrahiert. Diese können bei entsprechendem Vorwissen der Lernenden aber über die Editierfunktion der Blöcke aufgerufen und nachvollzogen werden.
Auch der „write words … in 2D“-Block ist stark abstrahiert, weil er über die Variablen „x axis“ und „minmax“ die Koordinaten der Begriffe automatisch so skaliert, dass sie den sichtbaren Teil der Ebene mehr oder weniger ausfüllen.
Experiments dient dem freien Experimentieren. Die Schülerinnen und Schüler können Blöcke in diesem Bereich ziehen und mit diesen eigene Untersuchungen durchführen.
Die Dokumentation
Sowohl das Snap!-Programm als auch die Dokumentation, welche die Schülerinnen und Schüler teilweise in der Lektion, teilweise als Hausaufgabe erstellen sollen, wird in einem Moodlekurs über die Aufgabenstellung mithilfe der Plugins Snap! Submissions und Response template umgesetzt.
Dabei nehmen die Lernenden zu folgenden Leitfragen Stellung:
1) Welche Blöcke hast du ausprobiert?
Füge entsprechende Bildschirmfotos ein und beschreibe kurz, was diese Blöcke bewirken.
2) Welche Wörter hast du untersucht?
Schreibe die von dir eingegebenen Wörter ein und notiere das vom Computer errechnete Ergebnis.
3) Bei welchen Beispielen haben dich die Ergebnisse überrascht? Was hat deinen Erwartungen entsprochen?
Nenne konkrete Beispiele.
4) Welches Ergebnis aus all deinen Versuchen findest du am spannendsten? Weshalb?
Beschreibe es in eigenen Worten und füge ein Bildschirmfoto ein.
5) Wie würdest du einem Kind erklären, wie Word embeddings funktionieren?
Verwende eine einfache Sprache, um die Technik hinter deinen Versuchen zu erklären.
Bemerkungen
Obwohl für die Umsetzung der Lerneinheit die Snap!-Programmierumgebung im Zentrum steht, liegt der Fokus nicht auf der Programmierung – diese wird in Form einer sogenannten Mikrowelt (nur wesentliche Blöcke sind sichtbar) zu Verfügung gestellt. Damit können zwei Zielsetzungen umgesetzt werden:
1) Die Schülerinnen und Schüler lernen die Grundlage einer wichtigen Technik kennen, die bei Suchmaschinen und Sprachmodellen zum Einsatz kommt: Worteinbettungen als informatorisches Konzept.
2) Die Schülerinnen und Schüler „rechnen“ mit Sprache und lernen dabei mehr über die Zusammenhänge zwischen einzelnen Begriffen (mediendidaktischer Ansatz).
Dabei ist die Erweiterung zur gesteuerten Abbildung von Begriffen aus dem multidimensionalen Vektorraum in die Ebene von zentraler Bedeutung: Denn die einschlägige Literatur zeigt zwar die Grundprinzipien der Beziehungen von Begriffen auf, verwendet dabei aber meist fabrizierte Beispiele, statt diese aus den vorhandenen Daten anschaulich zu berechnen.