Generative künstliche Intelligenz ist eine Art von künstlicher Intelligenz, welche verschiedene Arten von Inhalten generieren kann. Während im Zentrum der aktuellen Debatte KI-Systeme stehen, welche Texte generieren können (z. B. OpenAIs ChatGPT oder Googles Bard), gibt es auch solche, die beispielsweise Bilder (z. B. Midjourney), Videos oder Ton erzeugen.­­
 

Large Language Models (LLMs)

KI-Systeme wie ChatGPT basieren auf generativen Modellen, häufig sogenannten Large Language Models (LLMs), die ausgehend von den Daten, mit denen sie trainiert wurden, neue Inhalte erzeugen können. Ein LLM wie GPT-4 verfügt nach dem Training über statistische Informationen über die zugrundeliegenden Daten – in diesem Fall natürliche Sprache.
 

LLMs trainieren

Ausgehend von diesem Wissen kann das Modell Texte vervollständigen (sogenannte Text-to-Text-Modelle). Ein LLM „weiß“, dass der Satz „Der Himmel ist …“ wahrscheinlicher mit „blau“ als mit „gelb“ endet. Aufgrund der extrem großen Masse an Trainingsdaten führt diese im Kern sehr reduzierte Fähigkeit dazu, dass Sprachmodelle auch komplexe Aufgaben erstaunlich kompetent lösen können. Dabei ist es wichtig zu beachten, dass Sprachmodelle keine (expliziten) Wissensmodelle sind, sondern nur Texte probabilistisch ergänzen. Wenngleich ein Sprachmodell viele nicht-sprachliche Informationen „gelernt“ hat, ist es darauf optimiert, einen Text sprachlich korrekt, nicht aber zwingend faktentreu zu vervollständigen.

In der Praxis werden solche Modelle einem weiteren Trainingsschritt, dem sogenannten Alignment unterzogen. In diesem Trainingsschritt geht es darum, ein LLM auf bestimmte Aufgaben, z. B. dem Befolgen von Anweisungen, als auch z. B. hinsichtlich bestimmter Werte und Normen zu trainieren. Wenn Sie beispielsweise ChatGPT nutzen, interagieren Sie mit generativen Modellen, die darauf trainiert (aligned) sind, Dialoge zu führen und bestimmte Themen, die als problematisch wahrgenommen werden, nicht zu bearbeiten.
 

Biase

Die Qualität der Modelle und ihres Outputs hängt fundamental mit der Qualität der Trainingsdaten, sowohl im ersten Schritt als auch während des Alignments, zusammen. Eine besondere Bedeutung nehmen hier Biase in den zugrundeliegenden Daten ein. Ein generatives Modell generiert neue Inhalte, die auf den probabilistischen Mustern der Trainingsdaten basieren. Wenn die Trainingsdaten z. B. einen Gender-Bias haben, wird dieser auch in den Erzeugnissen des Modells wiederzufinden sein.
 

Prompts

Aktuelle generative KI-Systeme operieren sowohl mit Blick auf den Input als den Output (bei Text-to-Text-Modellen) mit natürlicher Sprache. Als Input für das Modell dient daher ein sogenannter Prompt – eine Art geschriebener Arbeitsauftrag für das Modell. Dieser Prompt wird dann im Fall von Text-to-Text-Modellen vom LLM vervollständigt. Die Qualität des Prompts (siehe z. B. Vortrag Generative KI für Anfänger*innen beim Tag des Lernens und der Lehre 2023) hat deswegen auch großen Einfluss auf die Qualität des Outputs. 

Durch den Prompt kann Sprachmodellen wichtiges Kontextwissen oder Beispiele bereitgestellt werden. Das lässt sich am Beispiel einer Antwort auf eine E-Mail gut verdeutlichen. Wenn Sie dem Sprachmodell prompten „Schreibe eine Antwort auf eine E-Mail“, werden Sie einen Text erhalten, der einer möglichst „durchschnittlichen“ E-Mail entspricht und mit großer Wahrscheinlichkeit nichts mit Ihrem Kontext zu tun hat. Das Modell kann ja auch nicht wissen, worauf es antworten soll. Wenn Sie dem Modell hingegen die Ausgangsmail im Prompt „zeigen“, kann dieses eine passende Antwort generieren. Ausgehend von diesem Prinzip lassen sich Sprachmodelle auch nutzen, um z. B. unstrukturierte Daten zu strukturieren oder Texte automatisch umzuformatieren.
 

Plugins und Agenten

Abschließend sei noch auf sogenannte Plugins und Agenten verwiesen. Ein Sprachmodell verfügt nur über das Wissen, welches in den Trainingsdaten zu finden ist. OpenAIs GPT-4 wurde beispielsweise nicht auf Daten trainiert, die neuer als September 2021 sind. Daher verfügt das Modell auch über keine Informationen aus den letzten zwei Jahren. Plugins und Agenten erlauben es, Sprachmodelle und andere Anwendungen zusammenzubringen. Mit einem „Browser-Plugin“  kann ein Sprachmodell beispielsweise nach Informationen im Internet suchen und so seine eigene Beschränktheit überwinden. Für ChatGPT gibt es beispielsweise aktuelle eine ganze Reihe an Plugins, es beispielsweise erlauben, Berechnungen mit WolframAlpha durchzuführen oder Reisen zu buchen.

 

 Material

• ChatGPT – kurz erklärt
  Eine Videoreihe des KI-Campus (Dr. Aljoscha Burchardt), die sich den grundlegenden Fragen rund um ChatGPT und generativer KI widmet.
   
• HFD Linksammlung
  Eine laufend aktualisierte kommentierte Sammlung von Quellen, die das Thema aus diversen Blickwinkeln betrachtet.
   
• Learn Prompting
  Ein kostenfreies Online-Curriculum zum Thema Prompting