Nachdem OpenAI bereits im Juni einem breiteren Kundenkreis den Zugang zu GPT-4 geöffnet hat, gibt es den Zugriff über die API nun für alle Bestandskunden frei. Im Laufe des Monats sollen auch Neukunden programmatischen Zugriff auf das Sprachmodell erhalten.

OpenAI hatte das Large Language Model (LLM) GPT-4 im März nach zwei Jahren Entwicklung veröffentlicht. Es ist deutlich leistungsstärker als der Vorgänger GPT-3.5. Das Modell ist in zwei Varianten verfügbar: Die 8k-Variante verarbeitet bis zu 8.000 und die 32k-Variante bis zu 32.000 Token.

Sprachmodelle zerlegen Texte in Token und verwenden die statistischen Beziehungen zwischen den Zeichenfolgen, um den Inhalt zu verarbeiten. In der Live-Vorführung zum Launch von GPT-4 meinte Greg Brockman, Präsident und Mitgründer von OpenAI, dass 32.000 Token etwa der Länge von 50 Textseiten entsprechen. Wer einen ungefähren Eindruck erhalten möchte, kann den interaktiven Tokenizer von OpenAI verwenden: Er zerlegt einen in die Textmaske eingefügten Text und zeigt die Zahl der Zeichen und Token.

Die kleinere Variante zum Start

Zunächst gibt OpenAI die 8k-Variante frei. Bei der Ankündigung von GPT-4 hieß es, dass die 32k-Version seinerzeit noch nicht einwandfrei funktioniert habe. Im Juni hatte das Unternehmen neben einer neuen Version von GPT-4 ein 16k-Modell für GPT-3.5-Turbo angekündigt.

Die APIs zu ChatGPT und Whisper hatte OpenAI bereits im März geöffnet. Die Chat Completions API ist zwar auf die interaktive Kommunikation ausgelegt, kann aber auch einfache Textabfragen durchführen. Daher soll sie die 2020 eingeführte Completions API ersetzen.

Alte APIs gehen in Rente

Im Zuge der Freigabe von GPT-4 hat OpenAI angekündigt, den Zugriff zu älteren Modellen im Januar 2024 abzuschalten. Die Modelle ada, babbage, curie und davinci erhalten jeweils den Nachfolger mit dem Anhang -002, also beispielsweise ada-002. OpenAI schaltet diejenigen, die eine ältere Variante verwenden, am 4. Januar 2024 auf die neuere Version um.

Wer ältere Completion-Modelle wie text-davinci-003 verwendet, muss manuell ein Upgrade auf gpt-3.5-tubo-instruct vornehmen. Der Blogbeitrag zur GPT-4-Freigabe gibt einen Überblick über die als veraltet (deprecated) markierten Modelle und ihre Nachfolger. Auch die älteren Embedding-Modelle sind als deprecated gekennzeichnet. Der Nachfolger ist text-embedding-ada-002. Schließlich geht die Edits API mit ihren zugehörigen Modellen ihrem Ende entgegen. Auch hier gilt gpt-3.5-turbo ab Januar 2024 als Nachfolger.

Anpassungen mit eigenen Trainingsdaten

Bis zum Ende des Jahres sollen auch anpassbare Varianten von GPT-4 und GPT-3.5 verfügbar sein. Das Training der LLMs von OpenAI erfolgt mit öffentlich zugänglichen Daten aus dem Internet. Über Feintuning können Unternehmen die Sprachmodelle mit zusätzlichen Trainingsdaten auf eigene Bedürfnisse zuschneiden.

Wer für Feintuning eins der Modelle nutzt, die ab Januar nicht mehr zur Verfügung stehen, muss die Anpassungen auf die Ersatzmodelle vornehmen. OpenAI verspricht im Blogbeitrag Support bei der Migration.

Eine Frage des Preises

Die API für GPT-4 ist deutlich teurer als die für GPT-3.5 Turbo. Das nun verfügbare 8k-Modell kostet mit 0,03 US-Dollar für 1000 Input-Tokens das Zehnfache der 16k-Variante von GPT-3.5 Turbo, die wiederum doppelt so teuer ist wie die 4k-Variante desselben Modells. Bei den Output-Tokens beträgt der GPT-4-Preis mit 0,06 US-Dollar das Fünfzehnfache von GPT 3.5 Turbo 16k. Auch wenn die 32k-Variante von GPT-4 noch nicht allgemein verfügbar ist, listet OpenAI bereits die Preise, die das Doppelte der 8k-Variante betragen.

(rme)