Interviewfragen für LLM Engineers

Ein personalvermittlung/llm-engineer-einstellen/">LLM Engineer baut Anwendungen rund um große Sprachmodelle und hält sie sicher und kostenkontrolliert am Laufen. Wer die Rolle besetzt, will vor allem erkennen, ob ein Kandidat über reines Prompting hinaus produktiv gebaut hat. Die folgenden Fragen sind so formuliert, dass auch ohne tiefes Fachwissen erkennbar wird, ob eine Antwort trägt. Setzen Sie die Fragen flexibel ein, abhängig von der Seniorität der Position.

Zehn Fachfragen zur technischen Substanz

1. Was ist Retrieval Augmented Generation, und wann setzen Sie es ein? Eine gute Antwort erklärt, dass RAG ein Modell mit firmeneigenem Wissen verbindet, und nennt typische Einsatzfälle sowie die Grenzen des Ansatzes.
2. Wann würden Sie ein Modell feinabstimmen statt RAG oder Prompting zu nutzen? Reife zeigt sich im Abwägen von Aufwand, Datenlage und Nutzen. Gute Kandidaten wählen die einfachste Option, die das Ziel erreicht.
3. Wie messen Sie die Qualität einer generativen Anwendung? Erwartbar sind systematische Evaluation, Beispieltests und klare Metriken, nicht nur der Eindruck, dass die Antworten gut aussehen.
4. Wie gehen Sie mit Halluzinationen um? Gute Antworten nennen Quellenbindung über RAG, Guardrails, klare Grenzen der Anwendung und die ehrliche Einsicht, dass sich Halluzinationen nicht vollständig ausschließen lassen.
5. Wie wählen Sie zwischen verschiedenen Modellen aus? Erwartbar ist ein Abwägen von Qualität, Kosten, Latenz, Datenschutz und Abhängigkeit von einem Anbieter.
6. Was sind Embeddings, und welche Rolle spielt eine Vektordatenbank? Eine gute Antwort erklärt verständlich, wie Texte vergleichbar gemacht und für die Suche genutzt werden.
7. Wie kontrollieren Sie die Inferenzkosten einer LLM-Anwendung? Erfahrene Profile nennen konkrete Hebel wie Modellwahl, Caching, kürzere Kontexte und gezieltes Routing.
8. Welche Verfahren zur Feinabstimmung kennen Sie, und wann passen sie? Erwartbar sind Begriffe wie LoRA oder Instruction Tuning samt der Einsicht, wann sich der Aufwand lohnt.
9. Wie sichern Sie eine LLM-Anwendung gegen Missbrauch und unerwünschte Ausgaben ab? Gute Kandidaten sprechen über Guardrails, Eingabeprüfung und das Testen von Grenzfällen.
10. Wie bringen Sie eine generative Anwendung stabil in den Produktivbetrieb? Eine gute Antwort deckt Deployment, Monitoring der Ausgabequalität und einen Plan für Modellwechsel ab.

Zehn Fragen zu Praxis, Urteilsvermögen und Zusammenarbeit

1. Erzählen Sie von einer LLM-Anwendung, die Sie produktiv gesetzt haben. Konkrete Projekte mit echten Hürden und Lösungen sind das stärkste Signal für Erfahrung jenseits von Tutorials.
2. Beschreiben Sie eine generative Anwendung, deren Qualität nicht ausreichte. Wie sind Sie vorgegangen? Gute Kandidaten schildern systematische Fehlersuche statt blindem Modellwechsel.
3. Wie entscheiden Sie zwischen einer einfachen und einer komplexen Lösung? Reife zeigt sich darin, die passende statt der technisch beeindruckendsten Lösung zu wählen.
4. Wie gehen Sie mit unklaren oder überzogenen Erwartungen an KI um? Eine gute Antwort beschreibt, wie man Erwartungen realistisch einordnet und das früh kommuniziert.
5. Wie arbeiten Sie mit Fachbereich, Datenschutz und IT zusammen? Die Rolle berührt sensible Daten und Compliance. Gute Kandidaten denken diese Schnittstellen mit.
6. Wie bleiben Sie bei der rasanten Entwicklung von Sprachmodellen auf dem Stand? Glaubwürdig sind konkrete Quellen und Beispiele, kein allgemeines Lippenbekenntnis.
7. Was tun Sie, wenn ein neues Modell Ihre Anwendung verbessern könnte, aber den Betrieb verändert? Erwartbar ist ein abgewogenes Vorgehen mit Tests statt vorschnellem Wechsel.
8. Wie stellen Sie sicher, dass eine Anwendung nach Ihrem Weggang weiterläuft? Dokumentation, Evaluationssets und saubere Übergaben sind die entscheidenden Stichworte.
9. Welche Entscheidung in einem LLM-Projekt würden Sie heute anders treffen? Selbstreflexion und Lernfähigkeit sind ein starkes Reifezeichen.
10. Wie erklären Sie die Grenzen einer generativen Lösung jemandem ohne technischen Hintergrund? Wer Erwartungen realistisch managt, schützt das Projekt vor Fehleinsatz und Enttäuschung.

Wenn Sie das Anforderungsprofil vor dem Gespräch schärfen möchten, helfen die Seiten zu Gehalt und Jobprofil sowie der Vergleich zum AI Engineer. Für die Besetzung führen der Weg über die Personalvermittlung oder über einen Freelancer.