AI Glossar

Im Kontext AI werden viele Begriffe verwendet, die sich dem Zuhörer nicht unbedingt sofort erschliessen. Unser Glossar bringt ein wenig Licht ins Dunkel und erklärt euch die gängigsten Konzepte.

A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

Agenten

Ein Agent ist ein autonomes System, das Aufgaben mithilfe von Werkzeugen ausführt und dabei eigenständige Entscheidungen trifft. Agenten können in verschiedenen Formen auftreten, z. B. als Zero-Shot, Retrieval, Nutzerinteraktion oder in Zusammenarbeit mit anderen Agenten (CAMEL).

AI Assisted

AI Assisted bezieht sich auf Aktivitäten, die von Menschen durchgeführt werden, jedoch durch künstliche Intelligenz (KI) deutlich effizienter gestaltet werden. Beispiele hierfür sind automatisierte Recherche, Antwortvorschläge für Anfragen oder E-Mails, automatische Erstellung von Dokumenten und Präsentationen sowie Verbesserungen von Inhalt, Sprache und Konsistenz in bestehenden Dokumenten. KI kann bei vielen Arbeitsabläufen, deren Ergebnisse vorhersehbar sind, erfolgreich eingesetzt werden.

Attention 

Der Attention-Mechanismus ist ein Schlüsselkonzept in Transformer-Modellen wie LLama, GPT-3 oder -4. Er ermöglicht es dem Modell, sich auf relevante Teile des Eingabetextes zu konzentrieren, während es den Ausgabetext generiert. Dies verbessert die Fähigkeit des Modells, komplexe Zusammenhänge und Abhängigkeiten in Texten zu erkennen und zu verarbeiten.

Auto-GPT

Auto-GPT ist ein autonomer Agent, der unabhängig Aufgaben übernimmt und durch den Einsatz einer Vielzahl von Werkzeugen versucht, diese zu bewältigen. Die Aufgaben werden in mehrere Schritte zerlegt, die einzeln durchgeführt werden. Die Ergebnisse der einzelnen Schritte werden gespeichert und mit den erwarteten Ergebnissen verglichen. Bei Bedarf wird das weitere Vorgehen angepasst. Das zugrundeliegende Reasoning ist explizit, sodass der Nutzer die Motivation und den Hintergrund der Schritte nachvollziehen kann. Zu den eingesetzten Werkzeugen zählen u. a. autonome Internetrecherche und die Ausführung von speziell generiertem Code für bestimmte Aufgaben.

Autonome Agenten

Autonome Agenten sind eine Kategorie von Agenten, die so lange aktiv sind, bis ihr Ziel erreicht ist oder bestimmte Einschränkungen, wie z. B. maximale Dauer oder Kosten, erfüllt sind. Beispiele hierfür sind Auto-GPT, BabyAGI oder MetaPrompt. Sie benötigen keine Interaktion oder Steuerung durch den Nutzer.

BabyAGI

BabyAGI ist ein autonomer Agent, der fähig ist, ein Ziel in Einzelschritte zu zerlegen und eigenständig zu handeln, bis das Ziel erreicht ist oder zu viele Iterationen durchgeführt wurden.

BARD

Google Bard ist der von Google entwickelte KI-basierter Chatbot auf Basis von PaLM 2. Als Konkurrenz zu ChatGPT angelegt kann er zwar in ein paar Bereichen punkten – etwa mathematischen Aufgaben – liegt aber im grossen und ganzen im Mittel noch unterhalb der Fähigkeiten von GPT-3.5-turbo.

CAMEL

CAMEL steht für autonome Agenten, die bestimmte Themen durch Kommunikation erörtern. Die verschiedenen Rollen innerhalb dieser Agenten tragen dazu bei, spezielle Aspekte eines Problems zu beleuchten und in der Diskussion voranzutreiben.

Chain

Eine Chain ist eine Kombination verschiedener Komponenten, um eine einzelne, kohärente Anwendung zu erstellen. Chains können andere Chains zur Aufgabenerledigung integrieren.

Chain of Thought

Da Large Language Models (LLMs) hauptsächlich auf Sprache basieren, haben sie manchmal Schwierigkeiten, ein gutes Reasoning zu betreiben. Um logische Konsistenz zu gewährleisten, kann man sie dazu bringen, eine Aufgabe in mehrere Einzelschritte zu zerlegen. Durch diese Zerlegung entsteht eine Erhaltung von Konsistenz. Dies kann man ausnutzen, indem man einfach die Aufforderung “Think step by step” hinzufügt. Dadurch erstellt das LLM selbst eine Chain of Thought und gleicht diese ab.

ChatGPT Plug-ins

ChatGPT Plug-ins ist die Sammlung von Plug-ins, die als offizielle Schnittstelle für ChatGPT dienen. Sie bieten Funktionen zur Bereitstellung eigener Daten, aktueller Informationen sowie zur Nutzung externer Services und Funktionen. Bekannte Plug-ins wie Wolfram Alpha oder Zapier sind enthalten, ebenso wie zwei von OpenAI bereitgestellte Plug-ins: Webbrowser für Internetrecherche und Code Interpreter zur Ausführung von Code in Chats. ChatGPT Plug-ins werden von LangChain nativ unterstützt und können direkt integriert werden.

ChatModel

Ein Chat Model ist ein Large Language Model, das mit zusätzlichem Code erweitert wird, um eine direkte Interaktion zu ermöglichen. Beispielsweise wird die Fähigkeit hinzugefügt, sich an vorherige Aussagen zu erinnern, und unzulässige Antworten sowie Fragen werden herausgefiltert.

Code-Verständnis

Ein spezialisiertes oder allgemeines LLM, das in der Lage ist, Code in natürliche Sprache zu erklären und teilweise auch zu manipulieren.

Code-Generierung

Viele aktuelle LLMs, wie GPT-3.5 und GPT-4, können Code auf Basis von Anforderungen oder als Fortsetzung und Erweiterung bestehenden Codes generieren. Daneben gibt es spezialisierte LLMs wie CodeX, Amazons CodeWhisperer oder das freie StarCoder.

Context Length 

Die Kontextlänge ist die maximale Anzahl von Tokens, die ein LLM bei der Verarbeitung einer Eingabe berücksichtigen kann. Diese Begrenzung hat Auswirkungen auf die Fähigkeit des Modells, längere Texte zu verstehen und darauf basierend sinnvolle Vorhersagen zu treffen. Moderne LLMs haben eine größere Kontextlänge als frühere Modelle, was zu einer verbesserten Leistung bei der Textverarbeitung führt.

Constitutional AI

Eine verfassungskonforme KI ist eine spezialisierte Chain, die dafür sorgt, dass die Eingaben gemäß den Vorgaben des Anbieters angemessen sind. Wenn die Kriterien für Fragen und Antworten nicht erfüllt werden, wird ein Alternativtext ausgegeben. Beispielsweise sollte das Modell nur über ethische und rechtliche Themen sprechen und dessen Ausgabe sowohl ethisch als auch rechtlich korrekt sein.

Document Loaders

Das Laden und Indizieren von Dokumenten in KI-Lösungen unterscheidet sich von herkömmlichen Datenbanken, da es hier um die Indizierung von Wissen und nicht von Daten geht. Beim Import werden Daten in Embeddings umgewandelt und in einer Vektordatenbank gespeichert. Zusätzlich werden sie mit Metadaten wie der URL der Quelle angereichert.

Embeddings

Embeddings sind hochdimensionale Vektorrepräsentationen von Aussagen. Durch den Vergleich von Embeddings können Informationen zu einer Frage gefunden werden, indem Dokumente mit ähnlichen Vektoren gesucht werden. Um andere Daten in KI-Systemen nutzen zu können, müssen sie als Embeddings in Vektordatenbanken zur Verfügung gestellt werden.

Examples

Durch den Einsatz von Transformern in aktuellen Large Language Models kann die Konfidenz der Antworten erhöht werden, indem Beispiele für gewünschte Ergebnisse bereitgestellt werden.

Extraktion

Extraktion verwendet KI, um im Laufe der Zeit Daten aus Nutzeraussagen herauszufiltern. So können relevante Informationen wie aktuelle Interessen, Produktpräferenzen oder Adressdaten, die im Dialog enthalten sind, weiterverwendet und das Wissen über den Kunden erweitert werden.

Few-Shot Learning

Few-Shot Learning ist eine Lernmethode, bei der ein Modell mit sehr wenigen Beispielen für eine bestimmte Aufgabe trainiert wird. LLMs sind dank ihrer massiven Trainingsdaten und ihrer Fähigkeit, Wissen über verschiedene Aufgaben hinweg zu übertragen, besonders gut für Few-Shot Learning geeignet.

Finetuning

Finetuning ist der Prozess, bei dem ein bereits vortrainiertes Modell wie GPT-3 oder -4 weiter auf einer spezifischen Aufgabe oder einem spezifischen Datensatz trainiert wird. Durch das Finetuning können LLMs ihre Leistung in bestimmten Anwendungsbereichen oder Domänen verbessern und besser auf die Bedürfnisse des jeweiligen Einsatzgebietes zugeschnitten werden.

Few-Shot

Bei Few-Shot-Ansätzen werden der KI nicht nur direkte Prompts, sondern auch Beispiele für gewünschte Ergebnisse gegeben. Je mehr Beispiele vorhanden sind, desto besser werden sowohl das Format als auch die inhaltliche Ausrichtung getroffen.

Generative Agenten

Generative Agenten sind Agenten mit definierter Persönlichkeit und Erinnerungsvermögen, die miteinander interagieren können. Sie können beispielsweise genutzt werden, um Architekturentscheidungen zu diskutieren und zu verbessern.

Generative Modelle

Generative Modelle sind KI-Systeme, die neue Daten auf der Grundlage ihrer Trainingsdaten erzeugen können. LLMs wie GPT-3 und -4 sind Beispiele für generative Modelle, da sie in der Lage sind, Texte zu vervollständigen, neue Inhalte zu generieren und kreativ auf Anfragen zu reagieren.

GGML

GGML ist eine von G. Gerganov in C++ entwickelte Tensorbibliothek, die das Ausführen von LLMs auch ohne eigene GPU erlaubt. Zusammen mit dem eigenen 4-Bit-Vektorformat (ebenfalls GGML genannt, die Modelle müssen vor Einsatz mit GGML in dieses gewandelt werden) erlaubt es den Einsatz von grossen Modellen wie LLama, Alpaca oder Whisper auf normalen CPUs. 

GPT

GPT (Generative Pre-Trained Transformer) bezeichnet eine Familie von Large Language Models, die auf der Transformer-Architektur basieren. Sie werden zweifach trainiert: Zuerst auf der Grundlage eines umfangreichen Textkorpus, um ein zusammenhängendes Weltverständnis auf sprachlicher Ebene zu erlangen. Anschließend für bestimmte Aufgaben wie Chats, das Befolgen von Anweisungen oder das Generieren von Code. Dieses Training ermöglicht es ihnen, eine Vielzahl von Aufgaben menschenähnlich und ohne eigenes, aufgaben-spezifisches Training zu erfüllen.

GPT-Cache

Da Zugriffe auf OpenAI ebenso teuer sind wie lokale GPU-Operationen, möchte man redundante Zugriffe vermeiden. GPT-Cache ermöglicht ein sinnvolles Caching auf inhaltlich-sprachlicher Ebene, das prüft, ob eine Frage bereits gestellt wurde.

GPTQ

Bei GPTQ handelt es sich um eine Quantisierung der Modeldaten, die erst nach dem Training erfolgt. Deutlich kleinere Bitweiten wie 4 statt 16 Bit reduzieren den GPU-Speicherbedarf deutlich, ohne dass große Qualitätsverluste eintreten. Von der deutlich reduzierten Datenmenge profitiert auch die Ausführungsgeschwindigkeit erheblich.

GuardRails

Während Constitutional AI den Fokus auf die Validität von Frage und Ergebnis legt, setzt Nvidias GuardRails auf den gesamten Dialog. Durch eine Meta-Sprache kann man konzeptuell festlegen, wie auf Aussagen eines Gesprächspartners reagiert werden soll, ohne konkrete Beispielformulierungen oder Intent-Platzhalter liefern zu müssen.

Halluzinationen

Large Language Models (LLMs) basieren auf neuronalen Netzen, die sprachliche Zusammenhänge und Nähe von Textsequenzen nutzen. Dabei kommt es gelegentlich zu Halluzinationen, also Aussagen, die keinen Sinn ergeben. Klare Anfragen mit Few-Shot-Kontext und anderen Techniken können die Wahrscheinlichkeit von Halluzinationen reduzieren.

Impersonation

LLMs können den Einfluss von Position, Rolle, Status und sozialem Kontext auf Texte erkennen. Dies ermöglicht es, ihnen mit Prompting eine bestimmte Persönlichkeit, Denkrichtung, Werte und Handlungsmaximen zu verleihen, z. B. im Rahmen von CAMEL.

Instruction Tuning

Instruction Tuning ist der Grund, warum statistische Sprachvervollständigungsmodelle plötzlich in der Lage sind, Anweisungen auszuführen und sogar Reasoning anzuwenden. Seit GPT-3 oder FLAN werden LLMs mit Reinforced Learning with Human Feedback (RLHF) trainiert, um im Dialog bessere Ergebnisse zu liefern.

LangChain

LangChain ist das Standardframework für den schnellen Entwurf und die Integration von LLM-Lösungen. Es ist weit verbreitet und sehr empfehlenswert.

Language Model 

Ein Sprachmodell ist ein KI-System, das die Wahrscheinlichkeiten von Wörtern oder Phrasen in einer bestimmten Sprache vorhersagen kann. LLMs sind fortgeschrittene Sprachmodelle, die auf große Textkorpora trainiert wurden, um komplexe Muster und Zusammenhänge in natürlicher Sprache zu erfassen und zu generieren.

Llama

Llama ist das Large Language Model von Meta/Facebook. Obwohl der Code Open Source ist, sind die Daten (Weights) nicht Open Source. Allerdings sind sie durch ein Leak öffentlich verfügbar geworden. Auf dieser Basis sind viele Modelle entstanden, die im Rahmen der Research-Lizenz von Facebook legal genutzt werden können.

LLM

Large Language Models sind sehr große KI-Modelle, die darauf trainiert sind, Texte in natürlicher Sprache zu generieren und Anweisungen zu befolgen. Sie wurden erst 2022 zuverlässig und reasoningfähig genug, um komplexere Aufgaben zu bewältigen.

Memory

Zusätzlich zu den Informationen, die im LLM selbst vorliegen, können Prompts verwendet werden, um zusätzliche Informationen bereitzustellen, sodass das LLM sich an Dinge “erinnern” kann. Dies kann der bisherige Chatverlauf oder geplante weitere Schritte im Rahmen einer AGI sein.

Metaprompt

Die Idee hinter Metaprompt besteht darin, das Prompting durch das LLM selbst verbessern zu lassen. Ein Prompt und das Ergebnis werden vom LLM bewertet und kritisiert, woraufhin ein verbesserter Prompt erstellt wird. Dadurch kann das Iterieren über Prompts erheblich verkürzt werden.

MRKL

Ausgesprochen “Miracle” und abgekürzt für Modular Reasoning, Knowledge & Language: LLMs benötigen aktuelle Daten, um ihre antrainierten Daten zu ergänzen. MRKL ermöglicht es LLMs, nicht nur Fragen zu beantworten, sondern auch zu entscheiden, welche Informationsquellen oder Tools im Vorfeld einbezogen werden sollen. Dabei können sie priorisieren, Fallbacks nutzen oder im Zweifelsfall aufgeben.

Multimodale Modelle

Multimodale Modelle sind KI-Systeme, die mit mehr als einer Art von Daten oder Modalitäten arbeiten können, wie zum Beispiel Text, Bilder und Audiodaten. Einige LLMs können für multimodale Aufgaben erweitert werden, um Informationen aus verschiedenen Quellen zu kombinieren und komplexere Probleme zu lösen.

Natural Language APIs

Da LLMs auf der Sprachebene arbeiten, können sie nicht direkt externe APIs aufrufen. Durch Beschreibung der API, z. B. im OpenAPI-Format/Swagger, können LLMs jedoch entscheiden, welche Endpoints mit welchen Parametern für bestimmte Probleme aufgerufen werden sollen. Agenten führen dann diese Aufrufe durch und prüfen die Ergebnisse.

Output Parser

Output Parser kümmern sich um die Erstellung des gewünschten Outputs und generieren auf dieser Basis die Outputbeschreibung für den Prompt sowie die Infrastruktur zum Parsen des Ergebnisses der LLM in diesem Format.

Pretraining

Pretraining ist der erste Schritt im Trainingsprozess von LLMs. Dabei wird das Modell auf großen Textkorpora trainiert, um grundlegende sprachliche Fähigkeiten und ein umfassendes Weltwissen zu erlernen. Nach dem Pretraining kann das Modell weiter verfeinert werden, indem es auf spezifische Aufgaben oder Datensätze im Fine-Tuning-Prozess trainiert wird.

Prompt 

Ein Prompt ist der Eingabetext, der dem LLM zur Verarbeitung vorgelegt wird. Prompts können in Form von Fragen, Anweisungen oder unvollständigen Sätzen gestaltet sein, um das Modell dazu zu bringen, die gewünschten Informationen zu generieren oder die gewünschte Aktion auszuführen.

Prompt Engineering

Prompt Engineering bezeichnet die Formulierung von Eingabeaufforderungen für LLMs. Durch gutes Prompt Engineering erhält man verlässlichere und präzisere Antworten, und das Risiko von Halluzinationen wird reduziert.

Question Answering

LLMs nutzen für Question Answering antrainiertes Wissen, ergänzt durch zusätzliche Informationen, die aus Vektordatenbanken oder Plug-ins bereitgestellt werden. Question Answering wird oft in Chatbots, virtuellen Assistenten, Supportmanagement oder Informationsrecherche verwendet.

ReAct

ReAct, kurz für “Reason and Act” (Verstehen und Handeln), ist ein Vorgehensmodell für Agenten, das Denkprozesse und Handlungen in großen Sprachmodellen kombiniert. Es nutzt internes Wissen und externe Informationen, um aktuelle Kenntnisse bereitzustellen und Halluzinationen zu reduzieren.

Reinforcement Learning (Bestärkendes Lernen)

Reinforcement Learning ist eine Methode des maschinellen Lernens, bei der ein KI-Agent durch Interaktion mit seiner Umgebung lernt, indem er Aktionen ausführt und dafür Belohnungen oder Bestrafungen erhält. Einige LLMs können mit Reinforcement Learning kombiniert werden, um komplexe Aufgaben zu lösen oder ihre Leistung in bestimmten Anwendungsbereichen zu verbessern.

Retriever

Retriever sind Tools, die relevante Informationen aus großen Datenbanken auf Basis einer Suchanfrage abrufen. Diese Informationen werden den LLMs als Kontextinformationen bereitgestellt, um präzisere und nützliche Antworten zu geben.

RLHF

RLHF steht für “Reinforcement Learning from Human Feedback” und ist einer der Gründe für die Effektivität von Modellen wie GPT-4. Menschen bewerten die Qualität der Antwort eines Chatbots, und diese Bewertungen werden verwendet, um das Modell kontinuierlich zu optimieren.

Self-Critique

Self-Critique verwendet zusätzliche Prompts, um die eigenen Antworten der LLMs kritisch zu bewerten und mögliche Fehler zu entdecken. Anschließend kann diese Kritik genutzt werden, um die Antwort zu überarbeiten und die Qualität der Ergebnisse zu erhöhen.

Summarization

Summarization bezeichnet die kurze, prägnante Zusammenfassung von langen Texten durch LLMs. Sie werden eingesetzt, um große Mengen von Informationen sowohl für Menschen als auch für die Nutzung innerhalb von Prompts handhabbar zu machen.

Temperature

Temperature ist der Hyperparameter bei LLMs, der die Varianz bzw. Kreativität der Antworten steuert. Eine höhere Temperatur führt zu abwechslungsreichen und vielfältigen Antworten, steigert jedoch auch die Wahrscheinlichkeit von Halluzinationen. Eine niedrigere Temperatur erzeugt verlässlichere, aber möglicherweise weniger kreative oder wiederholende Antworten. Durch Anpassung der Temperatur können Sie ein Gleichgewicht zwischen Kreativität und Verlässlichkeit der generierten Texte finden.

Text Completion

Text Completion ist eine zentrale Fähigkeit von LLMs wie GPT-3 und -4. Diese Vervollständigung basiert nicht nur auf Statistiken, sondern bezieht auch das Kontextwissen aus dem gesamten Modell und trainierten Frage-Antwort-Paaren ein. Sie ermöglicht nicht nur die Fortführung vorhandener Texte, sondern auch das Erstellen völlig neuer Texte, das Verbessern bestehender Texte und das Beantworten von Fragen.

Text-Generation-WebUI

Die Text-Generation-WebUI von “Oobabooga” ist eine quelloffenes Werkzeug um eine Vielzahl von freien LLMs lokal nutzen zu können. Zu den vielfältigen Fähigkeiten gehören ein ChatModus, ein automatischer Model-Downloader und vorgefertigte Prompts.

Text Splitter

Text Splitter teilen unstrukturierte Texte in kleinere Abschnitte auf, die von LLMs oder Vektordatenbanken leichter verarbeitet werden können. Dadurch können Token-Limits umgangen werden und bei der Informationsbeschaffung werden nur die relevanten Textabschnitte einbezogen.

Token

Ein Token ist eine Einheit der Sprache, die von LLMs verarbeitet wird. In vielen Fällen entspricht ein Token einem Wort oder einem Satzzeichen, aber es kann auch Teile von Wörtern oder spezielle Symbole umfassen. LLMs haben eine maximale Token-Grenze, die die Länge der Eingabe- und Ausgabetexte begrenzt. 
Da der Aufwand für die Verarbeitung und Erstellung von Texten oft stark von der Tokenanzahl abhängt, wird die Tokenanzahl als Maßstab für die Kosten und Leistung (in Token/Sekunde) eines LLMs herangezogen.

Tool

Ein Tool ist ein Werkzeug, das eine bestimmte Aufgabe ausführt, wie zum Beispiel eine Google-Suche, Datenbankzugriff, das Ausführen von Python-Code oder das Nachschlagen auf Wikipedia. Es nimmt einen String entgegen und gibt einen String zurück.

Transfer Learning

Transfer Learning bezeichnet das Konzept, bei dem ein KI-Modell, das auf einer bestimmten Aufgabe trainiert wurde, seine Fähigkeiten auf eine andere, verwandte Aufgabe überträgt. LLMs nutzen Transfer Learning, um das Wissen und die Fähigkeiten aus ihrem umfangreichen Training auf neue und spezifische Anwendungsfälle anzuwenden

Transformer

Transformer sind ein entscheidender Baustein hinter LLMs. Sie sind eine Architektur neuronaler Netze, die Sequenzen, wie Texte, in Bezug auf andere Sequenzen setzt. Dies ermöglicht nicht nur die Einordnung, ob mit “Bank” im Kontext das Möbelstück oder die Institution gemeint ist, sondern auch das Verarbeiten von Zusammenhängen. Ohne Transformer gäbe es keine LLMs wie GPT.

Unstrukturierte Daten

Im Gegensatz zu strukturierten Daten in Datenbanken, XML, Wissensdatenbanken und Ähnlichem, sind unstrukturierte Daten Informationen ohne verlässliche, vorhersehbare oder bekannte Struktur, wie beispielsweise Texte, Bilder, Aufnahmen oder Videos. Da LLMs auf Sequenzen solcher Daten trainiert wurden, können sie gut mit solchen Daten umgehen, sie zusammenfassen, Informationen extrahieren oder transformieren.

Vektordatenbank

Eine Vektordatenbank ist eine Art von Datenbank, die Informationen in Form von Vektoren (bei LLMs Embeddings) speichert und abruft. Das erlaubt die Recherche in natürlichsprachlichen und anderen unstrukturierten Daten. Deshalb können Vektordatenbanken dazu verwendet werden, auch in großen Datenbanken semantisch ähnliche Daten zu finden. Bekannte Vektordatenbanken sind FAISS, Chroma, Weviate, Qdrant oder PGVektor für Postgres.

Vicuna

Vicuna ist ein auf Metas LLama aufsetzendes Large Language Model, dass durch Finetuning für viele Aufgaben aus den Bereichen Chat und Instructions besser geeignet ist als das ursprüngliche LLama von Meta. 

Zero-Shot Learning

Zero-Shot Learning bezieht sich auf die Fähigkeit von LLMs, Aufgaben ohne explizite Beispiele oder Anweisungen auszuführen. Sie nutzen dabei ihr umfangreiches Hintergrundwissen und Transfer Learning, um Aufgaben basierend auf dem Kontext und den Informationen in den Prompts zu lösen.