Diese Frage hören wir in fast jedem Erstgespräch, und sie ist berechtigt. Unsere Antwort lautet meistens: wahrscheinlich gar nicht. Selbstbauen macht vor allem dann Sinn, wenn man mehr braucht als einen reinen Chat.
Diese Frage hören wir in fast jedem Erstgespräch, mal so, mal so formuliert. „Wir haben ChatGPT." „Wir haben eh Copilot." „Wieso sollten wir da etwas Eigenes bauen?" Es ist genau die richtige Frage.
Die kurze Antwort: In den meisten Fällen solltest du nichts bauen. Sich eine eigene, maßgeschneiderte Software-Lösung auf Basis der bekannten KI-Modelle zu bauen, macht vor allem dann Sinn, wenn man mehr als einen reinen Chat braucht.
Vorweg: ChatGPT ist ein Produkt, nicht das Modell
Eine Unterscheidung vorweg, weil sie später entscheidend wird. ChatGPT ist nicht „das Modell". ChatGPT ist ein Produkt von OpenAI, und das Sprachmodell dahinter ist nur ein Teil davon. Das Gedächtnis über Gespräche hinweg, das Hochladen und Durchsuchen von Dateien, das Lesen von Bildern und PDFs, die Suche im Internet etc.: Das alles ist um das Modell herum gebaut. Bei Claude von Anthropic ist es genauso. Das Modell selbst kann nur eines, sehr gut mit Sprache umgehen.
In den bezahlten Business- und Enterprise-Versionen versichern die Anbieter, dass Daten verschlüsselt werden und nicht zum Training neuer Modelle dienen. Ob man dem vertraut, muss jedes Unternehmen für sich entscheiden.
Wann du selbst nichts bauen solltest
Im Grunde ist das alles, wo du beim Arbeiten mit ChatGPT und Co. selbst schon gemerkt hast, wie mächtig diese Werkzeuge sind: alles, was im Kern Sprache ist und keine sensiblen Daten braucht. Texte im Ton des Unternehmens, Präsentationen, Zusammenfassungen, Recherche, Übersetzungen, erste Entwürfe von fast allem. Ein Unternehmen hat uns kürzlich gefragt, ob es für sein Marketing etwas Eigenes braucht, für Texte, Social-Media-Beiträge und Unterlagen im eigenen Design. Unsere Antwort war nein. Mit den richtigen Vorlagen und Anleitungen reicht dafür, was die Anbieter ohnehin können.
Das gilt, solange es um interne Arbeit geht, die eine einzelne Person anstößt und im Blick hat: Jemand fragt, prüft die Antwort und verwendet sie. Wo das nicht mehr reicht, steht weiter unten.
Ganz grundlegend gilt aber immer: Das Team darin zu schulen, richtig mit KI umzugehen, bringt mehr als jedes Innovationsprojekt. Diese Systeme können extrem überzeugend extremen Unsinn reden. Warum das so ist, haben wir an anderer Stelle beschrieben. Wer gelernt hat, damit umzugehen, holt aus einem Abo mehr heraus als die meisten aus einem eigenen System.
Wann die Entwicklung eines eigenen LLM-basierten Systems Sinn machen kann
Der erste Fall: Das Unternehmenswissen ist einzigartig und wertvoll. Stell dir einen Maschinenbauer vor, der seit dreißig Jahren Sondermaschinen baut. In seinen Servicetickets und Konstruktionsnotizen steckt, warum seine Anlagen laufen und die der Konkurrenz nicht. Dieses Wissen ungefiltert in ein amerikanisches Modell zu laden, sollte man sich gut überlegen. Es ist ein großer Teil dessen, was das Unternehmen ausmacht. Vom Thema Datenschutz ganz abgesehen.
Die Lösung in vielen Fällen: Open-Source-Modelle, die auf eigener Infrastruktur laufen oder bei einem Hoster in Österreich. Open-Source-Modelle liegen in der Regel nur rund vier Monate hinter den besten kommerziellen Modellen, und für die meisten Aufgaben reicht das. Ein Mittelweg sind geschütztere Cloud-Umgebungen mit EU-Datenregion, etwa Bedrock von Amazon Web Services (AWS), in denen auch die großen kommerziellen Modelle laufen, ohne dass Daten die EU verlassen. Wie wir so etwas aufsetzen, steht auf unserer Seite zu DSGVO-konformer KI.
Der zweite Fall: Du willst selbst ein Produkt bauen. Sobald KI Teil deines eigenen Angebots werden soll, einer App, einer Plattform oder eines Services für deine Kunden, musst du sie selbst bauen. Hier hören wir regelmäßig: „Aber ChatGPT kann das doch." Ja, ChatGPT, das Produkt. Das Modell, das man über die Schnittstelle zu OpenAI bekommt, kann es nicht. Alles, was ChatGPT kann und das Modell nicht, muss extra gebaut werden.
Der dritte Fall: Du willst viele bestehende Systeme anbinden, und Halluzinationen müssen auf ein Minimum reduziert werden. Ein Eigentümer wollte kürzlich wissen, wo Vertrieb und Operations aktuell stehen, um schneller reagieren zu können. Copilot hatten sie schon, es hat nicht funktioniert. Nicht, weil Copilot schlecht wäre, sondern weil es von Haus aus nur sieht, was in Microsoft 365 liegt.
Für ERP, CRM und Branchensoftware gibt es Konnektoren, die eingerichtet und berechtigt werden müssen, und auch dann bekommt man eine Suche über Dokumente, kein System, auf das man sich zwingend verlassen will. Wer wissen will, wo der Vertrieb steht, braucht Zahlen, die stimmen, keine Zusammenfassung. Sobald mehrere Systeme zusammenspielen müssen und die Antwort exakt sein muss, lohnt es sich zu überlegen, ob man nicht ein eigenes System rund um die bestehenden KI-Modelle baut.
Der vierte Fall: Du willst einen klar definierten Workflow abbilden. Ein Ablauf mit mehreren Schritten über mehrere Systeme, der firmenweit nach denselben Regeln läuft, ohne dass jemand jeden Schritt anstößt. In ChatGPT oder Copilot lässt sich so etwas zwar einrichten, aber nur mit Aufwand und wenig Kontrolle. Als eigenes System läuft es so, wie du es festgelegt hast, und du siehst, was in jedem Schritt passiert.
Eines gilt in jedem Fall: Prüf zuerst, ob es das, was du brauchst, schon gibt. Für viele Probleme existieren etablierte Produkte. Wenn eines davon dein Problem löst, dann musst du nichts selber bauen.
Was man bekommt, wenn man selbst baut
Hier wird es interessant, denn die meisten denken beim eigenen System an einen Chat mit Firmenlogo. Das ist der naheliegendste Fall, und der, der ChatGPT am ähnlichsten ist. Es ist aber nicht der spannendste.
Was man tatsächlich bekommt, ist ein System, basierend auf den fortschrittlichsten Modellen, das in deinen Themen zu Hause ist, weil es mit deinen Daten arbeitet: angebunden an deine Datenbanken, deine Dokumente, deine Abläufe. Und ein solches System kann im Hintergrund arbeiten.
Am einen Ende stehen Systeme, die Fachwissen verarbeiten und so Mehrwert liefern. Zum Beispiel: Ein Energieversorger gibt seinen Kunden eine App, die aus Verbrauchsdaten, Tarif und Wetter erklärt, warum die Rechnung diesen Monat höher war, und was der Kunde selbst ändern kann. Die Zahlen kommen aus dem Abrechnungssystem, die Erklärung vom Modell, und der Kundenservice bekommt die Anrufe nicht mehr. Ein Anlagenbetreiber hat fünfzehn Jahre Wartungsberichte und Sensordaten. Das System erkennt, welche Störungsmuster einem Ausfall vorausgehen, und sagt dem Instandhalter, welche Anlage er sich diese Woche ansehen sollte.
Am anderen Ende steht die Automatisierung des Alltags, die einem vor allem Zeit spart. Zum Beispiel: Ein Großhändler hat zweitausend Lieferantenverträge, jeder anders formuliert. Das System liest sie alle, markiert jede Haftungs- und Kündigungsklausel, die vom eigenen Standard abweicht, und legt dem Einkauf eine Liste vor, die vorher niemand hätte erstellen können. Eingangsrechnungen werden mit der Bestellung abgeglichen und nur bei Abweichung einem Menschen vorgelegt. Kundenmails werden dem richtigen Vorgang im CRM zugeordnet und mit einem Antwortvorschlag versehen. Produkttexte entstehen in fünf Sprachen nach denselben Regeln, tausendfach, mit gleichbleibender Qualität.
Das funktioniert aber nur, wenn das System vernünftig gebaut wurde. Mehr dazu in unserem Insight über Halluzinationen und auf unseren Seiten zu Dokumenten-KI und KI-Entwicklung.
Bauen heißt nicht, ein Modell zu bauen
Niemand sollte ein Sprachmodell von Grund auf bauen. Das kauft man, von OpenAI, von Anthropic, oder man nutzt eines der kostenlos zugänglichen Open-Source-LLMs. Gartner erwartet, dass die meisten Unternehmen, die eigene Modelle trainieren, das wieder aufgeben: zu teuer, zu komplex, zu viel technische Schuld. Gebaut wird das System drumherum: Datenzugriff, Rechte, Tests, Abläufe. Diese Themen sind recht neu. Daher lohnt es sich, mit Teams zu arbeiten, die derartige Systeme bereits umgesetzt haben.
Was sehr wohl Sinn machen kann, ist, ein Open-Source-Modell auf die eigenen Daten nachzutrainieren. Fachleute nennen das Feinabstimmung. Sie eignet sich, wenn ein Modell den Stil, die Fachsprache oder die Konventionen eines Unternehmens übernehmen soll, etwa die eigene Code-Basis oder die Fachbegriffe und Abkürzungen, die nur in deinem Haus gelten. Fakten bringt man so nicht ins Modell. Dafür bleibt die Anbindung an die eigenen Daten das Mittel der Wahl. Feinabstimmung ist eine Ergänzung, kein Ersatz für das System drumherum.
Quellen
- OpenAI: Business data privacy, security, and compliance
- Gartner: Hype Cycle for Generative AI 2026 (Mai 2026)
- Epoch AI: Open models lag state-of-the-art closed models by 4 months (Mai 2026)