2023 · 04. Juni 2023

KI für Autoren: Ideengenerierung

Dieser Blog-Post ist der zweite in der Reihe "KI für Autor*innen". Der erste Post beschreibt die Situation zu Nutzungsmöglichkeiten der Künstlichen Intelligenz (KI) für Autor*innen auf einem abstrakten Level zum Zeitpunkt März 2023. Die Entwicklungen in diesem Bereich sind momentan hochdynamisch, daher bitte ich um Verständnis, sollten bestimmte Informationen bereits wieder überholt sein.

Bildquelle: DALL-E von OpenAI ("a cartoon picture by Bill Watterson showing a girl having a light bulb moment") vom 16.05.2023

Für das Verfassen einer Geschichte braucht es vor allem eines: eine Idee. Eine Idee zu einem Plot, einer Figur, einer Interaktion, einem Ereignis.

Die gute Nachricht: Bei all diesen Fragen können die momentanen Werkzeuge der generativen KI helfen. Wichtig dabei das Verb helfen. Denn die Werkzeuge geben Anstöße. Diese initialen Anstöße sollten jedoch nicht als Endergebnis verwendet werden. Warum? Neben den ungeklärten urheberrechtlichen Fragestellungen ist zu beachten, dass der Output der Werkzeuge der generativen KI auf Statistik basiert und somit bei wenig spezifischen Fragen wie "Generiere einen Plot für einen Science-Fiction-Roman" recht generische Antworten produziert werden:

Quelle: ChatGPT Interface von OpenAI (16.05.2023)

Die Generierung solcher eher als "standard" einzusortierenden Ideen kann jedoch aus dem Weg gegangen werden, wenn der/die Schriftsteller*in etwas mehr Kontext zur Verfügung stellt.

Doch bevor wir weiter in die Ideengenerierung abtauchen, möchte ich zumindest ein paar Informationen zu der Wirkungsweise dieser faszinierenden neuen KI-Werkzeuge teilen, da ein Grundverständnis bei der Nutzung hilfreich ist. Sollte dies für Dich, liebe(r) Leser*in nicht interessant sein, so springe bitte weiter zum Ende des Intermezzo.

---- Intermezzo zur Wirkungsweise von LLMs ----

Für die Ideengenerierung, die Textgenerierung, die Textumschreibung, etc., kommen so genannte Large Language Models (LLMs) zum Einsatz. Das momentan bekannteste ist sicherlich ChatGPT (hier kann sich jeder einen kostenlosen Account anlegen und sich austoben). Die Aufgabe von ChatGPT & Co ist es, basierend auf einem durch den Menschen vorgegebenen Wort beziehungsweise einer vorgegebenen Wort-Abfolge das nächste Wort zu generieren. Und anschließend das darauf folgende. Und dann das darauf folgende. Und direkt danach das darauf ... - okay, das dürfte verstanden worden sein. Dabei bezieht das LLM alle vorhergegangenen Informationen mit ein (genau genommen stimmt das nur bis zu einer bestimmten Obergrenze, die uns bei dem Thema "Ideengenerierung" jedoch noch nicht limitiert).

Gehen wir eine Ebene tiefer und schauen unter die Haube der LLM. Dazu habe ich mich bei einem sehr schönen (aber auch sehr langen) Artikel von Stephen Wolfram bedient. Einige Vereinfachungen wurden bei den folgenden Ausführungen vorgenommen, die für das Grundverständnis nicht relevant sind, es aber erlauben, weniger Fachbegriffe einzuführen und zu nutzen.

Los geht's. Die Erläuterungen erfolgen gemäß den folgenden Abschnitten am Beispiel von ChatGPT:

1. Worauf basieren LLMs?

2. Wie funktionieren LLMs?

3. Welche Funktionalitäten bieten LLMs?

4. Welche LLMs sind verfügbar?

1. Worauf basieren LLMs?

ChatGPT basiert auf einem LLM, welches an Unmengen von Texten antrainiert wurde. Dies bedeutet, dass in einem ersten Schritt all diese einst von Menschen verfassten Textpassagen eingelesen wurden. Durch eine automatische Analyse (das "Training") erlernte das Modell nun mehrere (zusammenhängende) Dinge:

Welches Wort folgt typischerweise auf ein vorheriges – beziehungsweise mit welcher Wahrscheinlichkeit? Das heißt, dass eine Liste von „typischen Folgewörtern“ für jedes "Startwort" erstellt wurde.
Wie oft kommen Wörter statistisch gesehen vor? Sprich: Wie ist die relative Häufigkeit zwischen "Hund" und "Tisch"?
Wie "nahe" sind sich bestimmte Wörter? In einem multidimensionalen Raum stehen sich Wörter wie "Braunbär" und "Wolf" recht nahe, dagegen sind "Wolldecke" und "laufen" deutlich weiter voneinander entfernt.

Die obigen drei Punkte funktionierten nicht für Einzelwörter, sondern für Wort-Abfolgen oder sogar ganze Texte.

Wie genau lernt ChatGPT? Es nimmt sich für das Training einen bereits existierenden (von Menschen geschriebenen) Text und schneidet diese beliebig ab. Anschließend sagt es vorher, wie der Text vermutlich weitergehen würde - und vergleicht diese Vorhersage mit dem tatsächlichen Text-Rest. Dann trainiert es "sein" neuronales Netzwerk so, dass es immer besser wird, Text-Reste "richtig" vorherzusagen.

2. Wie funktionieren LLMs?

In der simpelsten Ausführung beziehungsweise Einstellung könnte ein LLM nun basierend auf einem ersten Beispielwort das nächste auswählen, indem es in die spezifische Folgewortliste schaut. Wenn ich "Der Hund" eingebe , so ruft der Textgenerator die Liste für "Der Hund" auf und ganz oben steht dort "bellt". Anschließend wird nach der Folgewortliste für "Der Hund bellt" gesucht und erneut das Wort auf Platz 1 genutzt, z.B. "laut".

Wird immer das am höchsten auf der Liste stehende Wort ausgewählt, so wird der Text allerdings sehr "standard", immer "gleich" und wenig "kreativ". Besser ist es daher, eine gewisse Flexibilität zuzulassen, damit nicht immer das gleiche Wort auf ein bestimmtes Startwort folgt. Hier hilft unter anderem das ebenso erlernte Verständnis zu wie oft Worte genutzt werden und im Verhältnis zueinander stehen. Das Maß an Kreativität (oft "Temperatur" genannt) kann bei einigen der Werkzeuge vom Nutzer eingestellt werden, bei anderen (noch) nicht.

3. Welche Funktionalitäten bieten LLMs?

Diese Frage ist recht einfach zu beantworten: fast täglich mehr! Aber für diese Blogreihe fokussieren wir uns auf die Ideengenerierung (dieser Blog-Post), die Textgenerierung, das Umschreiben von Text, die Übersetzung und die Grafikgenerierung (bei letzterem kommt mehr als nur ein LLM zum Einsatz).

4. Welche LLMs sind verfügbar?

Sehr viele! Die meisten werden für den nicht-KI-Experten über so genannte Interfaces nutzbar gemacht. So wie das Werkzeug ChatGPT (noch) auf dem LLM GPT3.5 basiert. Andere ChatGPT-ähnliche Werkzeuge sind Moonbeam, Copy.AI und Neuroflash, um nur drei zu nennen. Mittlerweile gibt es allerdings auch bereits Werkzeuge, die spezielle für den/die AutorIn geschaffen wurden. Zum Beispiel Paragraph AI, NovelAI oder Sudowrite. So nutzt letzteres zum Beispiel das LLM GPT3 und hat darauf aufbauend Erweiterungen und ein für den/die Geschichtenschreiber*in optimiertes User Interface hinzugefügt (für einen guten Überblick über "alle" momentan verfügbaren generativen KI Werkzeuge clicke hier). Für die weitere Beschreibung werde ich jedoch weiterhin ChatGPT nutzen, um die Wirkungsweise und Nutzung von LLM besser greifbar zu machen.

Einige wesentliche Erkenntnis aus den Erfolgen von ChatGPT & Co werden durch Stephen Wolfram zusammengefasst (für diesen Blog-Artikel mit DeepL übersetzt - aber zu Übersetzungswerkzeugen kommen wir in einem späteren Blogpost):

Die menschliche Sprache weist viel mehr Struktur und Einfachheit auf, als wir bisher wussten. Letztendlich gibt es sogar ziemlich einfache Regeln, die beschreiben, wie eine solche Sprache zusammengesetzt werden kann."
"ChatGPT zieht "lediglich" einen "kohärenten Textfaden" aus den "Statistiken der konventionellen Weisheit" heraus, die es angesammelt hat."

---- Ende Intermezzo zur Wirkungsweise von LLMs ----

Nun aber endlich zu dem eigentlichen Thema: Ideengenerierung mit LLM-Werkzeugen. Ein erstes Beispiel hatte ich weiter oben bereits gepostet. Lass uns einen zweiten Versuch starten: