Generative AI, Engineering & AI Platforms
AI Evaluation Engineer (m/w/d)
Qualitätsmessung und Freigabeprozesse für generative KI systematisch entwickeln.
- Anstellung
- Festanstellung
- Arbeitsort
- Vor Ort in Baden-Württemberg
- Stufe
- Expertenrolle
- Unternehmen
- Mittelständisches Unternehmen
Unternehmen, genauen Standort und Gehalt nennen wir Ihnen im ersten Gespräch. Unsere Auftraggeber kommen aus Produktion, Maschinenbau, Automotive, Dienstleistung und Beratung.
Ihre Aufgaben
- Aufgabenspezifische Goldsets und Bewertungsrubriken aufbauen.
- Automatische und menschliche Evals kombinieren.
- Regressionstests, Drift- und Fehleranalysen etablieren.
- Qualitäts- und Sicherheitsmetriken in Releases integrieren.
- Grenzen und Verzerrungen von LLM-as-Judge dokumentieren.
Ihr Profil
- Erfahrung mit Evaluationen von ML- oder LLM-Systemen.
- Python, statistisches Denken und Testautomatisierung.
- Kompetenz in Datenannotation und Fehlertaxonomien.
- Sorgfältige Dokumentation von Messgüte und Bias.
So geht es weiter
- Schritt 1Kurzprofil sendenName, E-Mail und Ihr LinkedIn-Profil. Kein Anschreiben, kein Account.
- Schritt 2Wir melden unsMit allen Details zu Unternehmen, Standort und Konditionen, wenn Ihr Profil passt.
- Schritt 3KennenlernenEin vertrauliches Gespräch mit uns, danach stellen wir Sie dem Unternehmen vor.
Weitere Positionen in diesem Fachbereich
Alle offenen Positionen- Generative AI, Engineering & AI PlatformsLead AI Engineer (m/w/d)FestanstellungLead und PrincipalVor Ort, Baden-WürttembergDetails
- Generative AI, Engineering & AI PlatformsSenior Generative AI Engineer (m/w/d)FestanstellungSeniorVor Ort, Baden-WürttembergDetails
- Generative AI, Engineering & AI PlatformsSenior LLM Engineer (m/w/d)FestanstellungSeniorVor Ort, Baden-WürttembergDetails
Sie suchen selbst für eine solche Rolle?
Referenz vk-24 · veröffentlicht am 07.11.2026