Spitzenbesetzung

LLM im eigenen Betrieb: wann sich ein eigenes Sprachmodell lohnt und wer es baut

Ein eigenes Sprachmodell im eigenen Rechenzentrum oder in einer privaten Cloud lohnt sich, wenn Daten das Haus nicht verlassen dürfen, wenn Fachsprache allgemeine Modelle überfordert oder wenn die Menge an Anfragen hoch ist. In einem Referenzmandat stieg die Antwortqualität durch ein angepasstes Open-Source-Modell um 34 Prozent gegenüber der Ausgangslösung. Kern des Teams ist ein LLM Engineer mit Fine-Tuning- und Betriebserfahrung.

Konzentrierter KI-Freelancer am Laptop in einem modernen Co-Working-Space

Eigenes Modell oder Schnittstelle?

KriteriumSchnittstelle eines AnbietersEigenes Modell im eigenen Betrieb
Datenverlassen das Unternehmen, je nach Vertrag und Regionbleiben im eigenen Rechenzentrum oder in der privaten Cloud
Fachspracheallgemeines Wissen, Anpassung begrenztAnpassung an eigene Begriffe möglich
Kostenpro Anfrage, günstig bei kleinen MengenInfrastruktur und Betrieb, günstiger bei großen Mengen
AufwandgeringTeam für Training, Betrieb und Sicherheit nötig

Wenn Daten und Fachsprache kein Problem sind, reicht oft eine RAG-Lösung mit einem Modell über Schnittstelle. Siehe RAG Projekt.

Beispiel: SAP-Wissen in einem Industriekonzern

KennzahlWert
AuftraggeberMDAX-Industriekonzern, rund 25.000 Mitarbeitende
Ausgangslageallgemeine Sprachmodelle scheiterten an SAP-spezifischen Customizing-Fragen, RAG allein lieferte zu wenig Treffer, weil die Begriffe stark domänenspezifisch sind
LösungTrainingsdatensatz aus SAP-Tickets, Lösungsbeschreibungen und Handbüchern, Fine-Tuning eines Open-Source-Modells, Bewertung gegen ein kommerzielles Vergleichsmodell, Betrieb in einer privaten Cloud-Umgebung, SAP-Berater als Bewerter
ErgebnisAntwortqualität plus 34 Prozent gegenüber der Ausgangslösung, Antwortzeit unter 1,2 Sekunden bei 95 Prozent der Anfragen, kein Datenabfluss
Dauer und Rolle6 Monate, LLM Engineer als Freelancer, 900 bis 1.300 Euro pro Tag

Quelle: Referenzprojekt LLM Fine-Tuning SAP-Umfeld, anonymisiert.

Das Team

RolleAufgabe im ProjektFest oder Freelance
LLM EngineerModellwahl, Trainingsdaten, Fine-Tuning, BewertungFreelance für den Aufbau, laut Top-20-Report bei Prototyping empfohlen
MLOps EngineerGPU-Infrastruktur, Auslieferung, Monitoringfest, wenn das Modell dauerhaft läuft
FachexpertenTrainingsdaten prüfen, Antworten bewertenintern
AI Security SpecialistPrüfung vor dem LivegangFreelance oder Shared Expert

Ablauf in vier Phasen

PhaseInhaltErgebnis
1. EntscheidungDatenschutzanforderungen, Fachsprache, Mengen, Kosten von Schnittstelle und eigenem Betrieb vergleichenbegründete Entscheidung für oder gegen ein eigenes Modell
2. Daten und BewertungTrainings- und Testdaten aus eigenen Dokumenten, Bewertungsverfahren mit FachexpertenTestsatz und Vergleichswert
3. Anpassung und BetriebFine-Tuning, Auslieferung in der eigenen Umgebung, Antwortzeiten optimierenModell im Pilotbetrieb
4. ÜbergabeMonitoring, Nachtraining, Sicherheitsprüfung, Dokumentationstabiler Betrieb mit internem Team

Was es kostet

RolleTagessatz erfahren, Mittelstand
NLP / LLM Engineer1.000 bis 1.450 Euro
MLOps Engineer950 bis 1.350 Euro
AI Security Specialist1.050 bis 1.500 Euro

Quelle: Top-20-Report KI-Rollen Mittelstand 2026. Im Referenzmandat lag der Tagessatz des LLM Engineers bei 900 bis 1.300 Euro. Dazu kommen Kosten für Rechenkapazität, die stark von Modellgröße und Anfragemenge abhängen.

Die drei häufigsten Fehler

  1. Eigenes Modell ohne Grund. Wenn weder Datenhoheit noch Fachsprache noch Menge dafür sprechen, ist eine Schnittstelle günstiger.
  2. Keine Bewertung gegen eine Vergleichslösung. Ohne Vergleich mit einem kommerziellen Modell bleibt offen, ob sich der Aufwand lohnt.
  3. Betrieb unterschätzt. Ein eigenes Modell braucht Monitoring, Updates und Sicherheitsprüfungen. Planen Sie das Team dafür vor dem Start.

Ihre Daten sollen im Haus bleiben?

Wir stellen das Team für Ihr eigenes Sprachmodell zusammen, mit LLM Engineers, die Fine-Tuning und Betrieb verantwortet haben.

Team anfragen

Quellen

  • Spitzenbesetzung, Referenzprojekt LLM Fine-Tuning SAP-Umfeld
  • Spitzenbesetzung, Top-20-Report KI-Rollen Mittelstand 2026

Häufige Fragen

Wann lohnt sich ein eigenes Sprachmodell?

Wenn Daten das Unternehmen nicht verlassen dürfen, wenn Fachsprache allgemeine Modelle überfordert oder wenn die Anfragemenge so hoch ist, dass Kosten pro Anfrage teurer werden als eigener Betrieb.

Welche Rollen braucht ein Projekt mit eigenem LLM?

Einen LLM Engineer mit Fine-Tuning-Erfahrung, einen MLOps Engineer für Infrastruktur und Betrieb, Fachexperten für Trainingsdaten und Bewertung und eine Sicherheitsprüfung vor dem Livegang.

Was bringt Fine-Tuning eines Open-Source-Modells?

Im Referenzmandat stieg die Antwortqualität bei SAP-Fragen um 34 Prozent gegenüber der Ausgangslösung, bei Antwortzeiten unter 1,2 Sekunden.

Wie lange dauert ein LLM-Projekt im eigenen Betrieb?

Im Referenzmandat sechs Monate bis zum Betrieb in der privaten Cloud.

Was kostet ein LLM Engineer für so ein Projekt?

Im Mittelstand laut Top-20-Report KI-Rollen 2026 1.000 bis 1.450 Euro pro Tag, im Referenzmandat 900 bis 1.300 Euro.

Nächster Schritt

Welcher Weg passt zu Ihrer Situation?

Wählen Sie den Pfad, der zu Ihrem Bedarf passt. Jede Erstberatung ist unverbindlich und führt zu einer ehrlichen Markt-Einschätzung.

Freelancer anfragen→Festanstellung besetzen→Diskrete Executive Search→
Verwandte Themen