ChatGPT Serie Teil 3: Input- und Output-Beschränkungen
ChatGPT ist ein auf künstlicher Intelligenz basierender Textgenerator, der von OpenAI entwickelt wurde. Er verwendet eine fortgeschrittene maschinelle Lernarchitektur, um menschenähnliche Texte zu erzeugen. Sie können mit ChatGPT interagieren, indem Sie Eingaben machen oder Fragen stellen, die ChatGPT dann in vollständigen und kohärenten Sätzen beantwortet. ChatGPT kann in vielen verschiedenen Kontexten und für verschiedene Zwecke eingesetzt werden, einschließlich, aber nicht beschränkt auf Kundendienst, Bildung, Schreibhilfe, Übersetzung und vieles mehr.
Ziel dieser Serie ist es, eine allgemeine Einführung zu geben und dann tiefer in den Anwendungsbereich auf rechtlicher Ebene einzudringen. Nachdem wir die grundlegende Funktionsweise und Nutzung von ChatGPT besprochen haben, möchten wir uns nun einem speziellen technischen Detail zuwenden: den Tokens und den damit verbundenen Token Limits.
Das Token Limit
ChatGPT wurde in seiner Architektur und seinem Training auf eine bestimmte Länge von Ein- und Ausgaben trainiert. Für diese wurde es so optimiert, dass eine optimale Kombination aus Performance, Berücksichtigung der gesamten Eingabe und Ausgabe und insgesamt eine brauchbare Qualität gewährleistet ist. Letztendlich mussten sich die Entwickler dieser Technologie für eine Textgröße entscheiden und im Laufe der Entwicklung von ChatGPT haben sich verschiedene Größen durchgesetzt. Dabei ist zu beachten, dass sich die zu verarbeitende Textgröße aus technischer Sicht immer aus Eingabe und Ausgabe gleichzeitig zusammensetzt.
Wie sich das Limit zusammensetzt und was ein Token ist
Da ChatGPT ein statistisches Verfahren verwendet, um die wahrscheinlichste Wortwahl und Satzzusammensetzung zu ermitteln, ist es notwendig, den Text in Zahlen umzuwandeln, bevor sie in das Formelgeflecht einfließen können, aus dem das KI-Modell besteht. Diese Zahlen werden Token genannt. Es ist wichtig zu wissen, dass nicht jedes Wort in eine Zahl umgewandelt wird, sondern dass oft schon ein Bruchteil eines Wortes ein Token bilden kann, und dass oft mehreren Wörtern weitere Token zugeordnet werden, die im weitesten Sinne den Kontext zwischen diesen Wörtern oder Wortbruchteilen darstellen sollen.
Dieser Satz, der als Beispielsatz für die Erstellung von Token verwendet wird, würde in Token wie folgt aussehen: [35, 444, 263, 7031, 89, 435, 82, 1355, 8802, 72, 1424, 27906, 277, 25151, 4656, 5256, 301, 695, 2150, 18042, 29130, 3326, 86, 437, 316, 11, 264, 11033, 258, 287, 29130, 523, 257, 385, 25]
Das sind 35 Token für 15 Wörter/90 Zeichen. Die von OpenAI vorgeschlagene Näherung, dass ein Token 4 Zeichen entspricht, stimmt hier nicht ganz.
Die Diskrepanz ergibt sich aus der Tatsache, dass die Tokenisierung für andere Sprachen als Englisch weniger effizient ist. Solche Sprachen sind daher ressourcen- und damit kostenintensiver. Auch Sonderzeichen, Leerzeichen, Interpunktion und Ähnliches werden bei der Tokengenerierung berücksichtigt. So wird beispielsweise ein Absatzende mit zwei aufeinander folgenden Zeilenumbrüchen als zwei Token gezählt. Wenn wir also eine besonders lange Anfrage stellen, wird die Antwort von ChatGPT kürzer ausfallen, wenn das Token-Limit sonst nicht eingehalten werden könnte.
Das ist wichtig zu wissen, wenn man längere Texte zusammenfassen will oder eine besonders lange Ausgabe wünscht. So kann man ChatGPT mitzuteilen, wie lang die Antwort genau sein soll. ChatGPT wird dann den ersten Teil der Antwort generieren und über den Button “Continue Generation” anbieten, den Text in seiner nächsten Antwort fortzusetzen, die dann wieder die vollen 4096 Token verwenden kann (abzüglich der wenigen Token, die das Senden des Fortsetzungsauftrags über den Button verbraucht). Da ChatGPT ein Gedächtnis hat, ist es auch möglich, die Eingabe Schritt für Schritt zu machen und ChatGPT dann zu bitten, zusammenzufassen oder andere Operationen auf der vorherigen Eingabe durchzuführen. Es ist auch möglich, die Ausgabe zunächst auf einer abstrakteren Ebene anzufordern, z.B. nur die Überschriften oder nur eine kurze Zusammenfassung pro Absatz, und ChatGPT dann zu bitten, den Text Element für Element zu generieren.
Ähnliches gilt für die Eingabe. So ist es bei längeren Eingaben und Ausgaben sinnvoll, dem Bot zunächst den Gesamtzusammenhang, die nächste Aufgabe und die gewünschte Ausgabeform zu erklären und diesen Teil in regelmäßigen Abständen zu wiederholen, um die Ausgabe genau auf die eigenen Wünsche auszurichten und diese Ausrichtung über den gesamten Gesprächsverlauf zu erhalten. Es ist auch eine gute Idee, bestimmte Anfragen und Bausteine mit Titeln oder Schlüsselwörtern zu versehen, um im Gespräch leicht darauf zurückgreifen zu können. Das funktioniert mit Kapitelnummern, noch besser aber mit Schlagwörtern oder Überschriften. Hat man z.B. den Abschnitt eines Vertrages über die geplante Abwesenheit des Mitarbeiters mit dem Stichwort Urlaubsregelung versehen, kann man mit wenigen Worten (also auch wenigen Token) den entsprechenden Inhalt im Kontext der aktuellen Konversation abrufen und in die nächste Ausgabe des Chatbots einfließen lassen.
Für komplexere Anwendungen mit großzügigeren Token-Limits von bis zu 16.384 Token und für automatisierte Lösungen gibt es die Seite https://platform.openai.com/, auf der man dann verschiedene Modelle nach Geschwindigkeit und Token-Limit auswählen kann. Dort zahlt man dann aber auch pro Token. Die Kosten liegen derzeit zwischen 0,0001 und 0,12 US-Dollar pro 1.000 Token. Spätestens hier sind die Token nicht mehr eine scheinbar willkürliche Begrenzung der Ein- und Ausgabe, sondern eine präzise Maßeinheit für den geleisteten Rechenaufwand (die Eingabe muss schließlich erst verarbeitet werden, bevor eine Ausgabe generiert werden kann) und damit letztlich die Währung in der automatisierten Verarbeitung von Texteingaben und der Erzeugung von Textausgaben über den Chatbot.
Im nächsten Teil dieser Artikelserie wird das Thema Speicher im Kontext von ChatGPT vertieft.
Autor: Nuri Khadem ist Legal Engineer bei Noerr, Rechtsanwalt und Lehrbeauftragter an der HU-Berlin. Er hat einen umfangreichen IT-Background aus seiner mehrjährigen Arbeit als IT-Dienstleister und Systemadministrator.
