AI Safety & Alignment Engineer: Rolle und Aufgaben

Was ist ein AI Safety & Alignment Engineer?

Ein AI Safety & Alignment Engineer arbeitet daran, dass leistungsfähige KI-Modelle verlässlich im Sinne ihrer Betreiber und Nutzer handeln. Der Begriff Alignment bezeichnet die Ausrichtung eines Modells an den beabsichtigten Zielen und Werten. Die Rolle verbindet Forschung mit praktischer Umsetzung: Sie entwickelt Verfahren, um sicheres Verhalten zu messen, deckt Schwachstellen auf und baut Schutzmechanismen, die im Maßstab funktionieren.

Anders als ein klassischer Engineer, der ein Modell schneller oder genauer macht, fragt diese Rolle, ob sich ein Modell auch unter Druck korrekt verhält. Das umfasst den Umgang mit gezielten Angriffsversuchen, mit verzerrten oder schädlichen Ausgaben und mit unerwartetem Verhalten autonomer Systeme.

Aufgaben im Überblick

• Bewertungsverfahren und Metriken entwickeln, um Sicherheit und Ausrichtung messbar zu machen
• Modelle gezielt angreifen, um Schwachstellen vor der Veröffentlichung zu finden
• Verzerrungen und schädliche Ausgaben mit Trainingsverfahren reduzieren
• Forschung zu Ausrichtung, Wertelernen und Interpretierbarkeit vorantreiben
• Erkenntnisse mit Engineering- und Produktteams in skalierbare Schutzmechanismen überführen

Ein wiederkehrendes Muster ist die Zusammenarbeit mit dem Red-Teaming. Red-Teamer finden Schwachstellen und stressen Modelle, daraus entstehen Bewertungsrubriken, und die Wirksamkeit der Gegenmaßnahmen wird anschließend in der Auswertung geprüft.

Methoden und Werkzeuge

Die Rolle nutzt ein eigenes Repertoire an Verfahren, das über klassisches ML-Engineering hinausgeht.

RLHF und DPO. Verfahren, die ein Modell anhand menschlicher Bewertungen ausrichten. Sie prägen, welche Antworten ein Modell bevorzugt.

Constitutional AI. Ein von Anthropic geprägter Ansatz, bei dem ein Modell seine Antworten gegen festgelegte Prinzipien selbst bewertet und so seine Ausrichtung trainiert.

Evaluations und Red-Teaming. Systematische Tests und gezielte Angriffe, die aufdecken, wo ein Modell trotz guter Benchmark-Werte versagt, etwa bei Rollenspiel-Tricks oder mehrstufigen Anfragen.

Interpretierbarkeit und skalierbare Aufsicht. Methoden, um nachzuvollziehen, warum ein Modell so entscheidet, und um Aufsicht auch bei sehr großen Systemen zu ermöglichen.

Welche Skills die Rolle braucht

Das Profil verbindet Forschungstiefe mit solidem Engineering.

Tiefes ML-Verständnis. Fundiertes Wissen über Training, Feinabstimmung und das Verhalten großer Sprachmodelle.

Forschungskompetenz. Die Fähigkeit, neue Bewertungs- und Ausrichtungsverfahren zu entwickeln, zu testen und zu dokumentieren, oft mit Bezug zur aktuellen Forschung.

Adversariales Denken. Ein Gespür dafür, wie sich ein System missbrauchen lässt, und die Geduld, immer neue Angriffswege zu suchen.

Engineering-Solidität. Sauberer Code und die Fähigkeit, Forschung in stabile, wiederholbare Bewertungs- und Schutzsysteme zu überführen.

Wo die Rolle angesiedelt ist

Hier ist Ehrlichkeit wichtiger als ein Verkaufsversprechen. Die Rolle ist heute stark auf wenige Orte konzentriert. Die größten Arbeitgeber sind die führenden KI-Labore wie Anthropic, OpenAI und Google DeepMind sowie spezialisierte Forschungszentren an Universitäten. In typischen DACH-Unternehmen ist die Rolle in dieser Reinform selten.

Für Unternehmen, die KI einsetzen statt selbst Grundlagenmodelle zu bauen, ist die praxisnahe Variante meist eine andere: gezieltes Red-Teaming und die Absicherung eingesetzter KI-Anwendungen, oft im Umfeld von Trust and Safety oder Responsible AI. Wer eine fertige KI nutzt, sollte sich bewusst sein, dass eine Feinabstimmung die ursprüngliche Sicherheitsausrichtung verändern kann.

Warum Ausrichtung schwer ist

Die Schwierigkeit liegt darin, dass gute Messwerte trügen können. Ein Modell kann interne Sicherheitstests bestehen und trotzdem in der realen Nutzung versagen.

Angreifer umgehen Schutzmechanismen oft mit Mustern, die im Training nicht vorkamen: Rollenspiel-Rahmen, hypothetische Formulierungen, mehrstufige Anfragen oder übersetzter Text. Der schädliche Output sieht dann anders aus als die Beispiele, gegen die das Modell trainiert wurde, und ein einfacher Sicherheitsfilter greift nicht.

Hinzu kommt: Eine Feinabstimmung für einen konkreten Anwendungsfall verändert die Gewichte des Modells und kann die ursprünglich erreichte Sicherheitsausrichtung schwächen. Wer ein bereits sicheres Grundmodell anpasst, sollte die Ausrichtung danach erneut prüfen.

Auch starke Messwerte täuschen leicht. Ein Sicherheitsklassifikator kann auf einem Testdatensatz sehr hohe Genauigkeit erreichen und im echten Einsatz dennoch zahlreiche neue Angriffswege übersehen, die im Test nie vorkamen. Genau deshalb kombinieren gute Teams mehrere unabhängige Prüfungen und verlassen sich nie auf eine einzelne Kennzahl.

Typischer Hintergrund

Die meisten Profile kommen aus dem maschinellen Lernen oder der Forschung. Üblich sind tiefe Kenntnisse im Training großer Modelle, Erfahrung mit Bewertungs- und Trainingsverfahren und oft eine Nähe zur aktuellen Forschung, etwa durch Veröffentlichungen oder Beiträge zur Fachgemeinschaft. Reine Engineering-Profile ohne Forschungsbezug oder reine Forschungsprofile ohne soliden Code stoßen in dieser Rolle schnell an Grenzen.

Abgrenzung zu verwandten Rollen

Mehrere Rollen berühren das Thema Sicherheit, mit klar verschiedenen Schwerpunkten. Der AI Governance & Compliance Officer steuert organisatorisch und regulatorisch, der AI Ethics Officer behandelt ethische und gesellschaftliche Fragen. Der AI Safety & Alignment Engineer arbeitet technisch am Verhalten des Modells selbst. Ein klassischer ML Engineer wiederum optimiert Leistung und Betrieb, ohne den Fokus auf das Fehlverhalten unter Druck.

Eng verwandt ist die Arbeit des Post-Training- und RLHF-Engineers, der die Ausrichtungsverfahren in der Praxis umsetzt.

Wann Unternehmen das Thema brauchen

Auch ohne eine eigene Vollzeitrolle wird das Thema für mehr Unternehmen relevant. Typische Auslöser:

• Eine KI-Anwendung trifft Entscheidungen mit echtem Schaden bei Fehlverhalten
• Ein Modell wird feinabgestimmt, was die Sicherheitsausrichtung verändern kann
• Autonome Agenten handeln eigenständig und brauchen verlässliche Aufsicht
• Kunden oder Aufsicht verlangen Nachweise zu Robustheit und Sicherheit

In diesen Fällen lohnt sich spezialisierte Kompetenz, sei es als feste Rolle in einem KI-nahen Unternehmen oder als projektbezogene Bewertung durch externe Experten.

Wann eine externe Bewertung sinnvoll ist

Viele Unternehmen brauchen keine feste Forschungsrolle, profitieren aber von einer punktuellen, unabhängigen Prüfung ihrer eingesetzten KI. Eine externe Bewertung lohnt besonders vor dem Start einer geschäftskritischen Anwendung, nach einer Feinabstimmung des Modells und beim Einsatz autonomer Agenten.

Eine solche Prüfung deckt Schwachstellen auf, bevor sie im Betrieb sichtbar werden, und liefert belastbare Nachweise gegenüber Kunden und Aufsicht. Sie ersetzt keine dauerhafte interne Verantwortung, schließt aber gezielt die größten Lücken.

Marktlage im DACH-Raum

Die Profile sind sehr selten, weil sie Forschungstiefe und Engineering verbinden und der Bedarf bislang vor allem bei wenigen großen Akteuren liegt. Der allgemeine Engpass verschärft die Lage zusätzlich. Laut der Bitkom-Studie zum Arbeitsmarkt für IT-Fachkräfte 2025 fehlten in Deutschland rund 109.000 IT-Fachkräfte, eine offene Stelle blieb im Schnitt 7,7 Monate unbesetzt. Für Spezialisten dieser Art ist der Markt noch deutlich enger.

Mit verbindlichen Sicherheitsanforderungen und dem breiteren Einsatz autonomer Agenten dürfte die praxisnahe Variante der Rolle auch in Anwenderunternehmen an Bedeutung gewinnen. Heute bleibt die reine Forschungsrolle jedoch auf wenige Häuser konzentriert.