Der Gedanke an künstliche Intelligenz beschäftigt die Menschheit schon lange. Bis vor wenigen Jahren war das Thema allerdings nur Stoff für Science Fiction. Seit der Freigabe von ChatGPT für die Öffentlichkeit im November 2022 dürfte jedoch kaum einer mehr an künstlicher Intelligenz vorbeigekommen sein. In sämtlichen App-Stores rangieren inzwischen dauerhaft KI-Anwendungen auf Spitzenpositionen und die Nutzerzahlen der dazugehörigen Angebote gehen weltweit durch die Decke. Im September teilte OpenAI mit, die Zahl wöchentlicher Nutzer liege mittlerweile bei 1,2 Milliarden Anwendern – und ein Ende ist nicht in Sicht.
Doch wie funktioniert die viel gefragte Technologie eigentlich, die so viele Menschen auf der ganzen Welt täglich verwenden? Die folgenden Erklärungen liefern einen allgemeinen Überblick.
Wie funktioniert KI? Machine Learning als Grundstein für moderne KI-Modelle
Die Basis für alle KI-Modelle bildet das Machine Learning – das maschinelle Lernen. Algorithmen werden mit sehr großen Datenmengen gefüttert, in denen sie Muster identifizieren und mit diesen im Anschluss bestimmte Aufgaben lösen können. Im Zusammenhang mit den im Moment verbreiteten KI-Modellen bedeutet das, dass mit riesigen Textmengen Machine-Learning-Systeme trainiert wurden, die Muster von menschlicher Sprache und Text zu erkennen. Diese Trainingsmethode heißt „Unsupervised Learning“. Dem Modell werden bei diesem Vorgang keine grammatikalischen oder Regeln oder Rechtschreibung beigebracht, sondern es erkennt aus der großen Masse an Beispieltexten selbstständig die Strukturen und Muster, die dahinter liegen.
Eine weitere Lernmethode ist das Bereitstellen von Fragestellungen oder Aufgaben, unmittelbar zusammen mit als falsch oder richtig markierten Lösungen. Dieser Vorgang wird „Supervised Learning“ genannt. So erkennt es Muster zwischen Aufgaben und Antworten und kann diese auf neue Fragen anwenden. Unsupervised- und Supervised Learning werden meistens beim KI-Training kombiniert.
Zur feineren Abstimmung setzen die Anbieter im späteren Verlauf des Lernprozesses zusätzlich das sogenannte „Reinforcement Learning from Human Feedback“ – kurz RLHF – ein. Menschen geben dem Modell eine Aufgabe und bewerten danach die Antwort der KI. Anders als bei simplen Unterscheidungen zwischen richtig und falsch sind granulare Abstufungen möglich, weshalb diese Trainingsmethode in aller Regel erst am Ende des Trainingsprozesses steht.
Grundsätzlich können diese drei Machine-Learning-Methoden mit jeder Art von Daten durchgeführt werden. Bei den bekannten KI-Modellen werden aber Texte – also Sprache – dafür verwendet.
Wie funktioniert ChatGPT und Co.?
Die verbreiteten KI-Modelle von OpenAI, Anthropic, Google und Co. haben eine große Gemeinsamkeit: Alle gehören zur Familie der sogenannten „Large Language Models“ – abgekürzt LLMs. Auf Deutsch heißt das „Große Sprachmodelle“. Der Begriff des Sprachmodells resultiert aus den Trainingsdaten der Modelle, die in Textform geliefert werden. Den Zusatz „groß“ verwendet man, weil es auch kleinere Varianten gibt, die aus weniger Parametern bestehen. Der Aspekt der Sprache beschreibt nicht nur die Art und Weise, wie man mit diesen Modellen interagiert, sondern auch deren tatsächliche Funktionsweise. Wörter und Sätze werden nach der Eingabe in kleine Einheiten – Tokens – zerlegt. Stellt man einem Modell einen Text zur Verfügung, dröselt es ihn im ersten Schritt in diese sogenannten Tokens auf. Die Aufgabe des LLMs besteht danach in der Generierung zusätzlicher Tokens, die zu denen aus dem ursprünglichen Prompt – der Nutzeranfrage – passen. Dafür verwendet es einen gigantisch großen stochastischen Zahlenraum mit Wahrscheinlichkeiten, den es in seinem Training erstellt hat. Ein Token nach dem anderen wird aneinandergereiht, immer unter Berücksichtigung der vorhergehenden, schon vorhandenen Tokens. Man kann sich das so ähnlich vorstellen, als ob man Buchstabe für Buchstabe einen Satz formuliert, dabei aber stupide nur darauf achtet, welcher jeweils einzelne Buchstabe gut zu den schon geschriebenen passt. Analog dazu hat ein Sprachmodell keine Kenntnis von der Bedeutung dessen, was es generiert. Es reiht nur statistisch wahrscheinliche Fortsetzungen für die bis dahin vorhandenen Textbausteine aneinander. Diese Funktionsweise haben ChatGPT, Gemini und Claude gemeinsam. Die Antwort des LLMs wird also generiert, daher auch die Bezeichnung generative KI.
Wie funktioniert längeres Nachdenken bei einem Sprachmodell?
Fast alle KIs bieten inzwischen die Option an, bei Bedarf länger oder intensiver nachdenken zu können. Diese Funktion basiert auf zwei Mechanismen. Der erste ist denkbar einfach: Bei einigen Anbietern wird für komplexe Aufgaben intern ein besseres Modell verwendet. Moderne Sprachmodelle bestehen aus verschiedenen Untermodellen, die unterschiedlich viele Parameter haben. Bei simplen Fragen reichen einfachere Modelle. Bei komplexeren Themen wird die Anfrage intern an ein leistungsstärkeres Modell weitergeleitet. Diese Vorsortierung übernimmt ein eigenes Routing-Modell. Das stärkere Modell, das die komplexe Anfrage zur Bearbeitung erhält, nutzt mehr Parameter und ist daher in der Lage, differenziertere Antworten zu generieren. Diese Modelle sind allerdings teurer, weshalb die Anbieter ein Interesse daran haben, einfache Fragen mit weniger Aufwand zu beantworten.
Der zweite Mechanismus zur Verbesserung der Antworten bei komplizierten Fragen kommt menschlichem Nachdenken recht nahe und teilt die Anfrage in unterschiedliche Unteraufgaben ein. Bei schwierigen Überlegungen splittet das LLM dann – ähnlich wie es Menschen auch machen – die Aufgabe in Schritte auf. Es überlegt etwa im Vorfeld, welche Aspekte es bei der Antwort berücksichtigen muss, formuliert für sich detailliertere Unterfragen und notiert sich Zwischenergebnisse. Der Vorgang gleicht einem internen, strukturierenden Brainstorming. Alle diese Abläufe macht die KI ausschließlich schriftlich, indem sie ihre Überlegungen als generierten Text verfasst. Bei einigen KI-Anbietern kann man sich diese inneren Denkprozesse sogar anzeigen lassen. Die so ausformulierten Textbausteine dienen als zusätzlicher Kontext bei der Generierung der finalen Antwort. Wenn der Text, wie weiter oben erklärt, stets Stück für Stück erstellt wird und der jeweils letzte Textstand in Tokenform zur Generierung des nächsten Tokens dient, verbessert der gerade beschriebene Überlegungsprozess das Endergebnis, die das Modell am Ende liefert.
Neueste
Um kommentieren zu können, müssen Sie angemeldet sein.
AnmeldenSie haben noch kein Konto? Kostenfrei registrieren