Inference

Was ist Inference?

Inference – auch als Modell-Inferenz oder Inferenzprozess bezeichnet – beschreibt den Vorgang, bei dem ein trainiertes KI-Modell auf neue Eingabedaten angewendet wird, um eine Ausgabe zu erzeugen. Im Kontext von Large Language Models (LLMs) bedeutet Inference konkret: Das Modell empfängt einen Prompt und generiert daraufhin eine Antwort. Der Begriff grenzt sich klar vom Training ab, bei dem das Modell seine Parameter erst erlernt. Inference ist der Betriebsmodus – also das, was Nutzerinnen und Nutzer in der Praxis erleben, wenn sie mit einem KI-System interagieren.

 

Wie funktioniert Inference?

Während des Inferenzprozesses durchläuft eine Eingabe das fertig trainierte neuronale Netz in einer einzigen Richtung – vom Input zum Output, sogenannter Forward Pass. Das Modell verändert dabei seine Gewichte nicht mehr; es wendet lediglich das im Training erlernte Wissen an.

Bei einem LLM läuft Inference typischerweise so ab:

1. Der Prompt wird in Token zerlegt und als numerische Vektoren kodiert.
2. Diese Vektoren durchlaufen die Transformer-Schichten des Modells.
3. Das Modell berechnet eine Wahrscheinlichkeitsverteilung über mögliche nächste Token.
4. Anhand einer Sampling-Strategie (z. B. Temperature Sampling oder Greedy Decoding) wird das nächste Token ausgewählt.
5. Dieser Schritt wiederholt sich, bis das Modell einen Stopp-Token erzeugt oder die maximale Ausgabelänge erreicht ist.

Die Rechenintensität von Inference hängt stark von der Modellgröße, der Eingabelänge und der gewählten Hardware ab.

 

Unterschied zwischen Inference und Training

Training und Inference sind die zwei grundlegenden Betriebsphasen eines KI-Modells. Beim Training werden Millionen oder Milliarden von Parametern auf Basis großer Datensätze iterativ angepasst – ein rechenintensiver Prozess, der Wochen dauern kann. Inference hingegen ist deterministischer und schneller: Das Modell ist eingefroren, keine Gewichte werden verändert. Dennoch ist auch Inference ressourcenintensiv, besonders bei großen Modellen mit vielen Parametern oder langen Kontextfenstern. Unternehmen stehen daher vor der Entscheidung, wie sie Inference-Kosten und -Latenz optimieren – etwa durch Quantisierung, Batching oder den Einsatz spezialisierter Inference-Hardware.

 

Warum ist Inference für Unternehmen relevant?

Für Unternehmen, die KI-Modelle produktiv einsetzen, ist Inference der zentrale Kostenfaktor im laufenden Betrieb. Während Trainingskosten einmalig anfallen, entstehen Inference-Kosten bei jeder einzelnen Anfrage – skaliert mit dem Nutzungsvolumen. Folgende Aspekte sind strategisch bedeutsam:

• Latenz: Wie schnell liefert das Modell eine Antwort? Besonders in Echtzeit-Anwendungen wie Chatbots oder Produktempfehlungen ist niedrige Latenz entscheidend.
• Kosten: API-basierte Inference (z. B. über OpenAI oder Anthropic) wird meist pro Token abgerechnet. Bei hohem Volumen können diese Kosten erheblich sein.
• Skalierbarkeit: Unternehmen müssen entscheiden, ob sie Inference über externe APIs beziehen oder eigene Infrastruktur betreiben (On-Premise vs. Cloud).
• Datenschutz: Bei sensiblen Daten könnte lokale Inference – also das Ausführen des Modells auf eigener Hardware – gegenüber Cloud-Inference vorzuziehen sein.

 

Praxisbeispiel

Angenommen, der K-Beauty-Shop koreanische-kosmetik-shop.de würde einen KI-gestützten Produktberater einsetzen: Jedes Mal, wenn eine Kundin eine Frage zu ihrer Hautpflegeroutine stellt, würde ein LLM im Hintergrund eine Inference-Anfrage verarbeiten und eine personalisierte Antwort generieren. Bei hohem Besucheraufkommen könnte die Summe dieser Inference-Anfragen zu spürbaren API-Kosten führen. Das Team würde daher möglicherweise evaluieren, ob ein kleineres, fein-getuntes Modell mit geringeren Inference-Kosten für diesen spezifischen Anwendungsfall ausreichend wäre.

 

Verwandte Begriffe

• Large Language Model (LLM)
• Token
• Prompt Engineering
• Quantisierung
• Fine-Tuning

 

FAQ

Verändert Inference die Gewichte eines Modells?

Nein. Während der Inference sind die Modellgewichte eingefroren. Das Modell lernt in dieser Phase nicht dazu – es wendet lediglich das im Training erworbene Wissen auf neue Eingaben an. Veränderungen der Gewichte finden ausschließlich während des Trainings oder Fine-Tunings statt.

Welche Faktoren beeinflussen die Inference-Kosten?

Die wichtigsten Kostentreiber sind die Modellgröße (Anzahl der Parameter), die Länge von Eingabe und Ausgabe in Token, das Anfragevolumen sowie die gewählte Infrastruktur. Optimierungsmaßnahmen wie Quantisierung, Modell-Pruning oder Caching häufiger Anfragen könnten die Kosten reduzieren.

Wann sollte ein Unternehmen eigene Inference-Infrastruktur betreiben statt eine API zu nutzen?

Eine eigene Infrastruktur könnte dann sinnvoll sein, wenn sehr hohe Anfragevolumen vorliegen, strenge Datenschutzanforderungen gelten oder spezifische Latenzanforderungen bestehen, die Cloud-APIs nicht erfüllen. Der Betrieb eigener Hardware erfordert jedoch erhebliches technisches Know-how und Investitionsbereitschaft.