{"id":849,"date":"2023-02-06T18:01:19","date_gmt":"2023-02-06T18:01:19","guid":{"rendered":"https:\/\/gigers.com\/blog\/?p=849"},"modified":"2024-06-24T17:33:33","modified_gmt":"2024-06-24T17:33:33","slug":"automatische-generierung-von-texten","status":"publish","type":"post","link":"https:\/\/gigers.com\/blog\/automatische-generierung-von-texten\/","title":{"rendered":"Automatische Generierung von Texten"},"content":{"rendered":"

Auf k\u00fcnstlicher Intelligenz basierende Textgeneratoren wie ChatGPT haben die Aufmerksamkeit einer breiten \u00d6ffentlichkeit gewonnen. Wie diese funktionieren, ist jedoch nicht einfach nachvollziehbar. Aus diesem Grund hat der Informatiklehrer Marc Siemering<\/a> eine didaktisch vereinfachte auf Markow-Ketten basierende \u00a0Version in Python geschrieben, welche er anl\u00e4sslich des Ausbaldower-Barcamps<\/a> am 2. Februar 2023 unter dem Titel „Wir w\u00fcrfeln W\u00f6rter<\/a>“ vorstellte. Dieser Blogbeitrag greift die von Marc Siemering vorgestellten Ideen auf und erkl\u00e4rt diese am Beispiel der blockbasierten Programmierumgebung Snap!<\/a><\/p>\n

Der Zufall als Grundlage<\/h2>\n

Damit solche Anwendungen wie ChatGPT \u00fcberhaupt funktionieren, ben\u00f6tigen sie eine entsprechende Datenbasis. Diese wird aus bereits vorhandenen Texten gewonnen. In der einfachsten Variante (ChatGPT ist wesentlich komplexer), werden diese Texte genutzt, passende Datenstrukturen aufzubauen.<\/p>\n

Bevor man sich mit der Auswertung von Texten besch\u00e4ftigt, lohnt es sich aber, erst einmal einige grundlegende Versuche durchzuf\u00fchren. F\u00fcr diese erste Gehversuche eignen sich die Zahlen 0-9. Damit k\u00f6nnen alle zu schreibenden Bl\u00f6cke getestet werden, bevor diese auf einen Textkorpus angewendet werden.<\/p>\n

In Snap! kann man sehr eine Liste von Zufallszahlen mit folgenden Bl\u00f6cken generieren:<\/p>\n

\"\"
Der map()-Block erlaubt die einfache Generierung von Zufallszahlen.<\/figcaption><\/figure>\n

Die so erzeugten Zufallszahlen k\u00f6nnen mit einem entsprechenden Block auf dem Bildschirm ausgegeben werden.<\/p>\n

\"\"
Dieser Block wird sp\u00e4ter auch f\u00fcr die Ausgabe der zu generierenden Texte verwendet.<\/figcaption><\/figure>\n

Die entsprechende Bildschirmausgabe sieht dann beispielsweise so aus:<\/p>\n

\"\"
Zuf\u00e4llige auf den Bildschirm ausgegebene Zahlen.<\/figcaption><\/figure>\n

Genau das gleiche Vorgehen kann nun anstatt mit Zahlen auch mit den aus einem Text gewonnenen W\u00f6rtern verwendet werden (zur Herkunft der Texte sp\u00e4ter mehr).<\/p>\n

\"\"
Die W\u00f6rter eines Textes werden in eine Liste geschrieben und anschliessend zur Generierung eines zuf\u00e4lligen Textes genutzt.<\/figcaption><\/figure>\n

Anstelle der zuf\u00e4lligen Zahlen werden so zuf\u00e4llige W\u00f6rter auf dem Bildschirm ausgegeben.<\/p>\n

\"\"
Die Bildschirmausgabe zeigt, die W\u00f6rter wurden wild zusammengew\u00fcrfelt und haben keinen Bezug zueinander.<\/figcaption><\/figure>\n

Dass die generierten W\u00f6rter thematisch zusammenpassen, h\u00e4ngt damit zusammen, dass diese aus einem Klexikon-Text zum Thema „Steinzeit<\/a>“ stammen.<\/p>\n

Struktur des Textes nutzen<\/h3>\n

Da es nicht das Ziel ist, zusammenhangslose Texte zu produzieren, soll in einem n\u00e4chsten Schritt die Abfolge der W\u00f6rter im Text genutzt werden, um ein besser passendes Ergebnis zu erzielen. Ob die entsprechenden Programmbl\u00f6cke richtig funktionieren, kann mithilfe der Snap!-Bl\u00f6cke ebenfalls schnell anhand der Zufallszahlen \u00fcberpr\u00fcft werden. Das Augenmerk hier, soll aber nun den eigentlichen Texten gelten.<\/p>\n

Eine erste einfache Idee besteht darin, dass nicht ein zuf\u00e4lliges Wort verwendet wird, sondern ein Wort, welches im Text auf einen schon vorhandenen Begriff folgt. Als Beispiel sollen die beiden folgenden S\u00e4tze aus dem Klexikon (wieder zu Steinzeit) dienen:<\/p>\n

Wie die<\/strong> <\/span>Menschen in der Steinzeit lebten, m\u00fcssen die<\/strong> <\/span>Arch\u00e4ologen aufgrund von Funden herausfinden. Die <\/span>Steinzeit ist der<\/strong> <\/span>\u00e4lteste Abschnitt in der Geschichte der<\/strong> <\/span>Menschheit.<\/em><\/p>\n

W\u00e4hrend in diesem kurzen Text die meisten W\u00f6rter eindeutige nachfolgende Begriffe haben, gibt es f\u00fcr die beiden Artikel „die<\/span>“ und „der<\/span>“ mehre M\u00f6glichkeiten. Damit kann nun eine Liste mit folgender Struktur aufgebaut werden:<\/p>\n

... > ...\r\n\r\nder > \u00e4lteste, Menscheit\r\n\r\ndie > Menschen, Steinzeit\r\n\r\n... > ...<\/pre>\n
Ob dabei das „Die“ ebenfalls ber\u00fccksichtig werden soll, h\u00e4ngt davon ab, wieweit die Texte in der Wortliste vereinfacht werden sollen.<\/p>\n
Das Snap!-Beispiel stell f\u00fcr das Erzeugen einer entsprechenden Liste (Struktur) folgenden Block zu Verf\u00fcgung:<\/p>\n
\"\"
Die Erzeugung eines einfachen ben\u00f6tigt schon wesentlich mehr Aufwand als die blosse Aneinanderreihung zuf\u00e4lliger W\u00f6rter.<\/figcaption><\/figure>\n
Das einfache W\u00f6rterbuch wird in mehreren Schritten erzeugt. Zuerst einmal werden alle W\u00f6rter mit ihren nachfolgenden W\u00f6rtern verkn\u00fcpft. Anschliessend wird \u00fcberpr\u00fcft, ob es W\u00f6rter gibt, die mehrmals im Text vorkommen. F\u00fcr diese wird dann ein gemeinsamer Eintrag mit allen nachfolgenden W\u00f6rtern erzeugt. Schliesslich wird die so gewonnene Listenstruktur noch einmal vereinheitlicht.<\/p>\n
F\u00fcr das Wort „ist“ sieht der entsprechende Listeneintrag beispielsweise so aus:<\/p>\n
\"\"
Im Text stehen mehrere verschiedene W\u00f6rter nach dem Wort „ist“.<\/figcaption><\/figure>\n
Wird nun dieses W\u00f6rterbuch f\u00fcr die Generierung von Texten verwendet, kann das Programm \u00fcberall dort, wo mehrere Alternativen zu Verf\u00fcgung stehen, eine Zufallsentscheidung treffen. Die daf\u00fcr ben\u00f6tigten Bl\u00f6cke sind:<\/p>\n
\"\"
Bei den ben\u00f6tigten Bl\u00f6cken muss nun etwas mehr Aufwand betrieben werden, die Grundstruktur bleibt aber gleich. Der zus\u00e4tzliche Index wird f\u00fcr einen einfacheren Zugriff auf das W\u00f6rterbuch erzeugt.<\/figcaption><\/figure>\n
Die so erzeugten Texte t\u00e4uschen einen h\u00f6heren Zusammenhalt vor als wirklich vorhanden ist, denn aufgrund der \u00fcberschaubaren Textmenge sind jeweils nicht besonders viele Entscheidungsalternativen vorhanden. Trotzdem sind viele Logikbr\u00fcche im Text zu erkennen.<\/p>\n
\"\"
\u00dcberall dort, wo es mehrere Nachfolger zu einem gegebenen Wort gibt, sind grunds\u00e4tzliche Spr\u00fcnge in der Textlogik m\u00f6glich.<\/figcaption><\/figure>\n
Markow-Ketten<\/h3>\n
Der schwache Bezug zwischen einem gegebenen Begriff und dem nachfolgenden Wort (unter Umst\u00e4nden sehr viele M\u00f6glichkeiten) kann korrigiert werden, wenn an die Stelle des einen Suchbegriffes mehrere W\u00f6rter treten. Im vorliegenden Beispiel werden daf\u00fcr Dreiergruppen von W\u00f6rtern als Schl\u00fcssel im W\u00f6rterbuch genutzt. Das entsprechende W\u00f6rterbuch wird mit einem leicht ver\u00e4nderten Block erzeugt.<\/p>\n
\"\"
Die Schl\u00fcssel im W\u00f6rterbuch bestehen nun aus Dreiergruppen von W\u00f6rtern.<\/figcaption><\/figure>\n
Die mithilfe der Markow-Ketten erzeugten Texte weisen nun einen gr\u00f6sseren inneren Zusammenhalt auf.<\/p>\n
\"\"
Weil f\u00fcr die Textgenerierung nur wenig Material verwendet wurde, hat der Computer eine vergleichsweise kleine Auswahl von Zufallsm\u00f6glichkeiten. Dadurch wirkt der Text logischer.<\/figcaption><\/figure>\n
Nachdem nun an einem \u00fcberschaubaren Text gezeigt wurde, dass die entsprechende Programmlogik funktioniert, ist es Zeit, einen gr\u00f6sseren Textkorpus zu verwenden.<\/p>\n
Verwendung von Textkorpora<\/h3>\n
W\u00e4hrend es noch vor wenigen Jahren \u00e4usserst schwierig war, insbesondere deutschsprachige Textkorpora zu finden, sind diese nun problemlos erh\u00e4ltlich. Eine gute Anlaufstelle ist beispielsweise der „Korpus einfaches Deutsch (KED)<\/a>„. Dort findet man auch die Texte aus dem Klexikon. Da diese in der zum Herunterladen angebotenen ZIP-Datei als Einzeltexte vorliegen, f\u00fchrt man sie am besten via Kommandozeile zusammen. Unter Windows funktioniert dies mit folgendem Befehl:<\/p>\n
type *.txt > klexikon.txt<\/pre>\n
Ob man anschliessend den Gesamttext noch von Interpunktionszeichen etc. s\u00e4ubert, muss man selbst entscheiden. Eine bereits \u00fcberarbeitete Variante wird am Schluss dieses Beitrages zu Verf\u00fcgung gestellt.<\/p>\n
Um einen entsprechenden Text in Snap! zu verwenden, kann man diesen aus dem Dateimanager direkt in die Snap!-Umgebung hineinziehen. Anschliessend steht der Text als Variable zu Verf\u00fcgung.<\/p>\n
An dieser Stelle ist eine Warnung angebracht: M\u00f6chte man sein Werk in der Snap!-Cloud speichern, ist dabei zu beachten, dass Projekte nicht gr\u00f6sser als 10 MByte sein d\u00fcrfen. Vor dem Speichern sollte man also die entsprechenden Daten wieder aus der Snap!-Datei l\u00f6schen. Dazu stehen im Beispiel einige Bl\u00f6cke zu Verf\u00fcgung.<\/p>\n
Versuch mit dem Gesamttext des Klexikons<\/h3>\n
Das Erzeugen des W\u00f6rterbuches aus dem Klexikon-Text funktioniert genau gleich wie oben beschrieben. Allerdings dauert dessen Generierung entsprechend l\u00e4nger. Auf einem einigermassen modernen Computer dauert die Berechnung zwischen ca. 5-10 Minuten.<\/p>\n
Auch die Generierung der Text dauert etwas l\u00e4nger, weil bei der Suche nach den entsprechenden Wortfolgen ein umfangreicherer Datenbestand durchforstet werden muss. F\u00fcr 100 W\u00f6rter muss man mit etwa 20 Sekunden Laufzeit rechnen.<\/p>\n
Das Resultat dieser Bem\u00fchungen sieht dann beispielsweise so aus:<\/p>\n
\"\"
Durch die umfangreichere Textmenge im Ausgangsmaterial erh\u00f6ht sich die Anzahl der m\u00f6glichen Verzweigungen, was wieder zu mehr Unstimmigkeiten im Text f\u00fchrt.<\/figcaption><\/figure>\n
Die „entt\u00e4uschenden“ resultierenden Textbeispiele zeigen, ChatGPT nutzt weit raffiniertere Techniken als ein bloss auf Markow-Ketten aufbauendes W\u00f6rterbuch.<\/p>\n
Einsatz im Unterricht<\/h2>\n
Die zu Verf\u00fcgung gestellten Snap!-Bl\u00f6cke eignen sich, um auf verschiedenen Abstraktionsstufen an das Thema heranzugehen.\u00a0 Insbesondere zeigen sie auch auf, dass sowohl unterschiedliche Herangehensweisen als auch verschiedene Ausgangsmaterialen zu qualitativ anderen Ergebnissen f\u00fchren k\u00f6nnen.<\/p>\n
Falls man sich fragt, weshalb der meist etwas ungewohnte funktionale Ansatz anstatt eines rein iterativen Vorgehens (z.B. mittels for-Schleife) verwendet wurde, ist die Antwort einfach: In Snap! sind funktionale Ans\u00e4tze wesentlich performanter als die Verwendung von Schleifen.<\/p>\n
Die Tatsache, dass die Generierung der W\u00f6rterb\u00fccher wesentlich mehr Zeit ben\u00f6tigt, als das Generieren von Einzeltexten, kann dazu verwendet werden, auf die Kosten beim Trainieren von Sprachmodellen aus entsprechenden Textquellen hinzuweisen.<\/p>\n
Es lohnt sich sicherlich auf darauf hinzuweisen, dass durch den Einbezug gr\u00f6sserer Textkorpora – das Klexikonbeispiel umfasst etwa 1.6 Millionen W\u00f6rter – mit mehreren Milliarden W\u00f6rtern, der technische Aufwand noch einmal ungleich h\u00f6her ausf\u00e4llt, da derart umfangreiche Datenmengen nicht mehr einfach im Speicher des Computers bearbeitet werden k\u00f6nnen.<\/span><\/p>\n
Ob und inwiefern es sinnvoll ist, auf die erweiterten Techniken von Anwendungen wie ChatGPT einzugehen (so erfolgt die Auswahl nachfolgender W\u00f6rter gezielter), muss wahrscheinlich zu einem sp\u00e4teren Zeitpunkt noch einmal \u00fcberdacht werden. Das vorliegende Beispiel ist ein erster Schritt dahin.<\/span><\/p>\n
Materialien zur Textgenerierung<\/h3>\n
Hier finden sich die Materialien zum vorgestellten Beispiel:<\/p>\n