Inference Engineer
Engineer-Profil, das Inferenz von ML- und LLM-Modellen optimiert: Latenz, Durchsatz, Kosten, Hardware.
Inference Engineers sorgen dafür, dass Modelle in Produktion schnell, robust und wirtschaftlich antworten. Sie kombinieren Wissen aus Hardware, Compiler, Serving-Frameworks und ML, um GPU-, CPU- und Edge-Workloads optimal zu betreiben.
- Festanstellung Senior
- 120.000 bis 160.000 €
- Freelance
- 1.300 bis 1.800 €/Tag
- Top-Stack
- vLLM, TensorRT-LLM, Triton, Quantization
Aufgaben
Wahl und Betrieb von Serving-Stacks (Triton, vLLM, TGI, KServe, BentoML), Quantization, Distillation, Speculative Decoding, Batching, KV-Cache-Optimierung, Hardware-Auswahl (H100, A100, MI300, Inferentia, Trainium). Optimierung von Latenz, Durchsatz und Kosten pro Token bzw. pro Inferenz.
Skills
CUDA-Grundlagen, PyTorch, ggf. TensorRT-LLM, vLLM, Triton, FP8/INT4-Verfahren, Performance-Profiling, MLOps-Praxis. In LLM-Kontexten zusätzlich Wissen über Modellarchitekturen und Tokenisierung.
Markt 2026
Sehr knappes Profil. Festanstellung Senior: 120.000 bis 160.000 €, Lead: 160.000 bis 200.000 €. Freelance: 1.300 bis 1.800 €/Tag. Stark nachgefragt bei Plattformanbietern, Hyperscaler-Kunden und Self-Hosting-Initiativen.
Recruiting
Time-to-Hire 12 bis 18 Wochen, oft über Headhunting. Spezialisierte Kandidatenpools verkürzen den Prozess. Klare Filterfrage: produktiver Betrieb eines Self-Hosted-LLMs in nennenswerter Größenordnung.
Praxis & Empfehlung 2026
Inference Engineering wird relevant, sobald Tokenkosten in den Bereich vierstelliger Tagesbeträge wandern oder Latenz-Anforderungen unter 500 ms steigen. Praktische Hebel sind 2026 unter anderem Speculative Decoding, KV-Cache-Sharing, Quantisierung auf FP8/INT4, gezieltes Modell-Routing zwischen großem und kleinem Modell, und Batch-Tuning. Ein erfahrener Inference Engineer kann GPU-Kosten realistisch um 30 bis 60 % senken, ohne Qualität messbar zu verlieren. Bevor Sie die Rolle besetzen, sollten Sie wissen, ob Self-Hosting strategisch gewollt ist, sonst optimieren Sie an einem Setup, das in 6 Monaten wieder verschwindet. Eine gute Diskussion mit Architektur und CFO verhindert dieses Fehlmuster.
Häufige Fragen
- Brauche ich Inference Engineers, wenn ich nur OpenAI nutze?
- Nein. Erst wenn Sie selbst hosten oder spürbar Kosten optimieren wollen, lohnt sich diese Rolle.
Passende Leistungen
Verwandte Begriffe
- AI Platform Engineer, Engineer-Profil, das die zentrale KI-Plattform eines Unternehmens baut und Self-Service für Fachteams ermöglicht.