Jeder, der KI im Unternehmen einsetzen will, hört irgendwann den Satz: „Die halluziniert doch." Der Satz stimmt. Trotzdem ist er kein Argument, KI nicht zu nutzen. Mit klugem Engineering lässt sich das Problem gut eindämmen.
Du hast eine Idee, was KI in deinem Unternehmen übernehmen könnte. Und früher oder später fällt der Satz: „KI halluziniert doch, darauf kannst du dich nicht verlassen."
Die kurze Antwort: Ja, jedes Sprachmodell halluziniert, weil es Wahrscheinlichkeiten berechnet statt Fakten nachzuschlagen. Null Prozent Halluzination gibt es nicht. Aber wo ein KI-System falsch liegen kann und wie oft, hängt davon ab, wie es gebaut ist. Systeme zu bauen, auf die man sich trotzdem verlassen kann, ist die eigentliche Engineering-Aufgabe der heutigen Zeit.
Der Satz ist also kein Grund, die Idee zu begraben. Er ist der Anfang für die wichtigsten Fragen in jedem Projekt: Wo darf ein Modell falsch liegen, wo darf es das nicht, und wie baut man ein System, das diesen Unterschied kennt? Dafür muss man verstehen, was ein Sprachmodell eigentlich tut, wenn es antwortet.
Was tut ein Sprachmodell, wenn es antwortet?
Ein Sprachmodell (im Fachjargon LLM) weiß nichts. Es rechnet. Für jede Frage berechnet es, welches Wort als nächstes am wahrscheinlichsten kommt, dann das übernächste, und so weiter. Es hat aus Milliarden Texten gelernt, wie Antworten klingen. Es hat nicht gelernt, ob sie stimmen.
Das klingt nach einem Mangel, ist aber genau der Grund, warum diese Modelle so gut sind. Sie können jede Art der Formulierung und jede Sprache. Sie fassen zusammen, übersetzen, strukturieren, erklären. Alles, was Sprache ist, können sie besser als jede Software davor.
Nur eines können sie nicht aus eigener Kraft: wissen, ob die Zahl, die sie gerade schreiben, die ist, die du wirklich brauchst. Wenn du fragst „Wie viel Umsatz hatten wir im März?", und das Modell hat deine Buchhaltung nicht vor sich, dann erfindet es mit höchster Wahrscheinlichkeit eine relativ plausible Zahl. Nicht aus Bosheit. Es tut, wofür es gebaut wurde: Es schreibt die wahrscheinlichste Antwort, basierend auf den Informationen, die das LLM hat. Die Zahl wird präsentiert wie eine echte Umsatzzahl. Sie ist aber keine.
Warum halluziniert KI per Design?
Man könnte meinen, das sei ein Fehler, der sich mit der nächsten Modellgeneration erledigt. OpenAI selbst sagt in einem Forschungspapier vom September 2025: Nein. Modelle halluzinieren, weil Training und Tests das Raten belohnen.
Die Logik ist dieselbe wie bei einer Prüfung ohne Minuspunkte. Wer bei jeder Frage etwas hinschreibt, schneidet besser ab als jemand, der ehrlich „weiß ich nicht" sagt. Die Modelle werden an solchen Tests gemessen, also lernen sie, nie zu passen. OpenAI zeigt an eigenen Modellen: Ein Modell, das bei Unsicherheit abwinkt, macht bei annähernd gleicher Trefferquote rund dreimal weniger Fehler als eines, das immer antwortet. Trotzdem gewinnt das ratende Modell die Rangliste.
Für dich heißt das: Halluzination ist keine Kinderkrankheit. Sie ist eine Eigenschaft der Technologie, so wie Reibung eine Eigenschaft von Mechanik ist.
Der heilige Gral: null Halluzination garantiert
Trotzdem steht es in Verkaufsunterlagen: „hallucination-free", „null Halluzination garantiert". Die Stanford University hat 2024 genau solche Versprechen geprüft, bei juristischen KI-Werkzeugen der größten Anbieter der Branche, die alle mit Datenbankanbindung arbeiten. Ergebnis: zwischen 17 und 33 Prozent der Antworten enthielten erfundene oder falsche Angaben. Die Werkzeuge waren deutlich besser als ein nackter Chatbot. Aber „frei von Halluzination" waren sie nicht.
Das ist die wichtigste Zahl in diesem Text. Nicht, weil sie hoch ist, sondern weil sie zeigt: Auch gute Systeme, die ihre Antworten aus echten Dokumenten ziehen, liegen manchmal falsch. Der Unterschied zwischen einem guten und einem schlechten System ist nicht null gegen irgendwas. Er ist: Weiß man, wo die Fehler sitzen, und hat man aktiv die Entscheidung getroffen, dass Fehler in einem Bereich toleriert werden?
Seit 2024 ist viel passiert. Die Modelle sind deutlich besser geworden, sie raten seltener und sagen öfter, wenn sie etwas nicht wissen. Am grundlegenden Thema ändert das nichts: Ein Modell, das Wahrscheinlichkeiten berechnet, kann falsch liegen. Es liegt heute seltener falsch. Nie falsch liegt es nicht.
Die richtige Frage: nicht ob, sondern wo
Dafür hilft eine Unterscheidung, die wir schon im Erstgespräch zu klären versuchen. Sie beginnt mit einem Wort aus der Softwarewelt: deterministisch. Ein deterministisches System liefert bei gleicher Eingabe immer dasselbe Ergebnis. Eine Datenbankabfrage nach dem Umsatz im März gibt heute, morgen und in einem Jahr dieselbe Zahl zurück. Ein Sprachmodell ist das Gegenteil davon: Es berechnet Wahrscheinlichkeiten, und dieselbe Frage kann zwei leicht verschiedene Antworten ergeben.
Ganz grob gibt es zwei Arten von Wissen in einem Unternehmen.
Das erste ist exakt. Wie viele Stück haben wir letzte Woche ausgeliefert? Welcher Kunde hat welche Rechnung offen? Wie hoch war der Umsatz im März? Diese Antworten gibt es genau einmal, sie stehen in deinen Systemen, und sie dürfen nicht um ein Komma abweichen. Dieses Wissen darf ein Sprachmodell nie selbst erzeugen. Es wird deterministisch (exakt, immer gleich) aus deinen bestehenden Systemen geholt, so wie es jede ERP-Auswertung seit Jahrzehnten tut, und dem Modell fertig in die Hand gegeben.
Das zweite ist Information, die interpretiert werden muss. Warum hat ein Kunde reklamiert? Was stand in den letzten fünf Mails mit dem Lieferanten? Welche Gründe für Absagen häufen sich? Diese Antworten gibt es in vielen Formulierungen, und jede kann richtig sein. Hier ist das Modell in seinem Element. Es wird den Reklamationsgrund vielleicht nicht 1:1 so wiedergeben, wie er in den Dokumenten steht. Aber: Solange der Kern der Aussage stimmt, reicht das für die oben beschriebenen Fälle aus.
Ein gut gebautes KI-System kennt diesen Unterschied in jedem einzelnen Schritt. Zahlen und Fakten sollten immer aus deterministischen Systemen kommen. Das Modell sollte dort eingesetzt werden, wo es am besten ist: beim Verarbeiten von Sprache und Interpretieren von Information. Der Fehler, den alle fürchten, passiert genau dann, wenn diese Grenze nicht gezogen wird: wenn das Modell Zahlen erzeugen soll, die es nicht hat. Wie wir solche Systeme bauen, steht auf unserer Seite zur KI-Entwicklung.
Was im Hype untergeht
Seit zwei Jahren redet alle Welt über Modelle. Welches ist das klügste, welches das neueste, wer hat welchen Benchmark gewonnen. Dabei geht unter, dass der Teil eines KI-Systems, der den Unterschied macht, meist gar keine KI ist.
Datenbanken, Schnittstellen, Berechtigungen, Tests, Überwachung im Betrieb: Das gibt es seit Jahrzehnten, es ist deterministisch, und es funktioniert. Ein KI-System, das im Unternehmen echten Wert liefert, ist zu einem großen Teil genau das, bewährte Softwareentwicklung, mit einem Sprachmodell an der einen Stelle, wo Sprache verstanden oder erzeugt werden muss.
Das deckt sich mit dem, was das Marktforschungsunternehmen Gartner seit zwei Jahren beobachtet. Gartner analysiert seit Jahrzehnten, welche Technologien sich in Unternehmen durchsetzen, und seine Einschätzungen gelten in IT-Abteilungen weltweit als Referenz.
Der Befund: 2024 hat Gartner vorausgesagt, dass mindestens jedes dritte Generative-AI-Projekt nach dem Pilotversuch abgebrochen wird, und nennt als Gründe Datenqualität, fehlende Kontrollen, Kosten und unklaren Nutzen. 2026 legt Gartner nach: Mindestens die Hälfte der Projekte überschreitet ihr Budget, wegen falscher Architekturentscheidungen und fehlendem Betriebs-Know-how. Das Modell steht auf keiner der beiden Listen. Projekte scheitern nicht daran, dass die KI halluziniert. Sie scheitern daran, dass niemand das Drumherum gebaut hat. Woran man das früh erkennt, haben wir in Warum Software-Projekte scheitern beschrieben.
Woran erkennst du gute Umsetzung?
Du musst nicht verstehen, wie ein solches System gebaut wird. Aber du kannst erkennen, ob es gut gebaut wird. Zwei Dinge sind entscheidend.
Erstens sollte dafür gesorgt sein, dass das Modell so wenig Information wie möglich und so viel wie nötig bekommt. Es ist verlockend, einem Modell alle Dokumente, Mails und Tabellen zu geben. Eine Messung über 18 führende LLMs zeigt das Gegenteil: Je mehr Text ein Modell auf einmal bekommt, desto schlechter werden seine Antworten. Ein gutes System sammelt vorher gezielt zusammen, was zur Frage gehört, aus deinem ERP, CRM oder einer anderen Datenquelle, und gibt dem Modell nur das. Fachleute nennen das Context Engineering.
Je besser diese Vorarbeit, desto weniger halluziniert das Modell, desto kleiner und günstiger darf es sein, und desto eher kann es auch auf eigener Infrastruktur laufen statt in einer fremden Cloud.
Zweitens sollte gemessen werden, wie oft das System falsch liegt, vor dem Start und vor allem auch im laufenden Betrieb. Dafür gibt es systematische Tests, in der Branche „Evals" genannt. Sie zeigen, bei welcher Art Frage oder Aufgabe die KI innerhalb des Systems schwächelt, bevor ein Kunde es tut. Mithilfe einer soliden Testumgebung wird auch sichergestellt, dass Fehler systematisch und für die Zukunft bestmöglich vermieden werden können.
Ein Modell, das einen Reklamationsgrund etwas anders formuliert, ist kein Problem. Ein Modell, das eine Rechnungssumme erfindet, ist ein Problem. Gutes Engineering macht den zweiten Fall technisch fast unmöglich. Ein Anbieter, der dir keine Fehlerquote nennen kann, hat nicht gemessen.
Vier Fragen, bevor KI in einen kritischen Prozess darf
Wenn du KI für etwas einsetzen willst, bei dem Fehler Geld oder echtes Vertrauen kosten, dann solltest du vier Fragen beantwortet bekommen. Von deiner IT, von deinem Anbieter, auch von uns.
- Was genau bekommt das Modell? Welche Daten, aus welchen Systemen, in welcher Form. Wer das nicht in einem Satz sagen kann, hat die Kontrolle über das System nicht.
- Wie fließen meine Daten? Je mehr Schritte zwischen deiner Datenbank und dem Modell automatisiert ablaufen, desto wichtiger ist, dass jeder davon nachvollziehbar ist.
- Wie wird getestet, wie oft es falsch liegt? Vor dem Start, laufend während des Betriebs, bei jeder Änderung und vor allem auch beim Wechsel auf ein neueres oder anderes KI-Modell.
- Wie hoch sind die LLM-Kosten? Es ist verlockend, mangelhaftes Software-Engineering oder fehlende Datenqualität mit den teuersten Frontier-Modellen zu kaschieren.
Wer diese vier Fragen beantworten kann, hat gute Chancen, dass nicht bloß eine Demo gebaut wurde.
Halluzination ist kein Showstopper
Dass KI halluziniert, ist nichts Neues. Es ist eine Eigenschaft, mit der jeder arbeitet, der diese Technologie ernsthaft einsetzt. Null Prozent Halluzination gibt es nicht, und wer das verspricht, hat die Technik nicht verstanden.
Was es gibt: Systeme, bei denen man weiß, wo das Modell falsch liegen kann, und bei denen diese Stellen so gebaut sind, dass es nichts kostet. Das ist keine Frage des Modells. Es ist eine Frage davon, wie viel klassische Ingenieursarbeit jemand um das Modell herum gebaut hat.
Die Vorsicht ist also berechtigt. Und deine Idee ist höchstwahrscheinlich trotzdem umsetzbar.
Quellen
- OpenAI, Kalai et al.: Why Language Models Hallucinate (Sept. 2025)
- Stanford RegLab / HAI, Magesh et al.: Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools (2024)
- Gartner: 30 % of Generative AI Projects Will Be Abandoned After Proof of Concept (Juli 2024)
- Gartner: Hype Cycle for Generative AI 2026 (Mai 2026)
- Chroma: Context Rot (Juli 2025)
- Anthropic: Demystifying evals for AI agents