Interview-Scorecard für KI-Rollen: bewerten, gewichten, entscheiden
Eine Interview-Scorecard legt vor dem Gespräch fest, welche Kriterien zählen, wie stark sie gewichtet sind und woran Sie eine starke Antwort erkennen. Strukturierte Interviews erreichten in einer Meta-Analyse von Sackett und Kollegen (2022) eine mittlere Validität von 0,42. Die Vorlage gibt es für acht KI-Rollen, abgestimmt auf unsere Interviewfragen, zum Ausfüllen, Drucken und Kopieren.
Scorecard zum Ausfüllen
Bleibt in Ihrem Browser. Wir speichern nichts.
Skala und Regel
- 1, unzureichend: Begriffe stimmen, eigenes Erleben fehlt, Antworten bleiben allgemein.
- 2, teilweise: Eigene Projekte erkennbar, Abwägungen genannt, aber kaum begründet.
- 3, erfüllt: Konkretes eigenes Beispiel, begründete Abwägung, ehrliche Grenzen.
- 4, stark: Zahlen aus eigenen Systemen, sieht Folgen für Team, Kosten und Betrieb voraus.
Jede Person im Panel bewertet für sich, bevor Sie sich austauschen. Liegt ein Muss-Kriterium unter 3, endet der Prozess, egal wie hoch der Schnitt ist. Ab 3,0 im Schnitt geht es weiter, zwischen 2,5 und 3,0 prüfen Sie gezielt nach.
Bewertung läuft
Gewichteter Schnitt: offen
Noch 5 von 5 Kriterien offen.
Fallaufgabe für 30 bis 45 Minuten
Ein interner Assistent beantwortet Fragen zu 4.000 Richtlinien-PDFs, die Antworten sind oft veraltet. Skizzieren Sie in 30 Minuten, wie Sie Ursache, Messung und Lösung angehen.
Die passenden Fragen mit guten Antworten und Warnsignalen: Interviewfragen LLM Engineer
So setzen Sie die Scorecard ein
- Vor dem ersten Gespräch festlegen. Kriterien, Gewichte und Muss-Kriterien stehen fest, bevor Sie Lebensläufe lesen. Wer sie danach anpasst, bewertet Personen und keine Kriterien.
- Allen dieselben Fragen stellen. Die Fragen je Kriterium stehen auf der Interviewfragen-Seite der Rolle. Nachfragen sind erlaubt, andere Themen nicht.
- Belege notieren, keine Eindrücke. Ein Satz wie „hat Kosten je Anfrage von 0,8 Cent genannt“ trägt eine Bewertung. „Wirkte kompetent“ trägt keine.
- Jede Person bewertet allein. Erst danach tauschen Sie sich aus. So prägt die lauteste Meinung im Panel das Ergebnis nicht.
- Nach drei Gesprächen kalibrieren. Vergleichen Sie, ob alle eine 3 gleich verstehen, und schärfen Sie die Beschreibungen.
Warum Muss-Kriterien vor dem Schnitt kommen
Ein gewichteter Schnitt kann eine entscheidende Lücke verdecken. Ein LLM Engineer mit 4 Punkten in allen anderen Kriterien, aber 1 Punkt bei Anwendungen in Produktion, landet rechnerisch bei 3,25. Für eine Rolle, die Systeme in Betrieb bringen soll, ist sie trotzdem die falsche Wahl. Deshalb stoppt die Scorecard bei jedem Muss-Kriterium unter 3, egal wie hoch der Schnitt ist.
| Ergebnis | Regel |
|---|---|
| Nicht weiter | Ein Muss-Kriterium unter 3 oder Schnitt unter 2,5 |
| Nachprüfen | Schnitt zwischen 2,5 und 3, gezielt die schwächsten Kriterien vertiefen |
| Weiter | Alle Muss-Kriterien mindestens 3 und Schnitt mindestens 3 |
Die Muss-Kriterien je Rolle
| Rolle | Muss-Kriterien | Fragen |
|---|---|---|
| LLM Engineer | Anwendungen in Produktion, Qualität messen | Interviewfragen LLM Engineer |
| GenAI Engineer | Qualität und Evaluation, Kosten und Betrieb | Interviewfragen GenAI Engineer |
| AI Engineer | Vom Prototyp in den Betrieb, Testen und Überwachen | Interviewfragen AI Engineer |
| Machine Learning Engineer | ML-Verständnis, MLOps und Produktion | Interviewfragen Machine Learning Engineer |
| Data Scientist | Methodische Substanz, Wirkung auf Entscheidungen | Interviewfragen Data Scientist |
| Data Engineer | Pipelines im Betrieb, Datenqualität und Quellsysteme | Interviewfragen Data Engineer |
| MLOps Engineer | Auslieferung und CI/CD, Monitoring, Drift, Retraining | Interviewfragen MLOps Engineer |
| AI Product Manager | Qualität und Unsicherheit, Kosten und Wirtschaftlichkeit | Interviewfragen AI Product Manager |
Drei Fehler beim Bewerten
- Bekannte Namen im Lebenslauf. Ein großer Arbeitgeber sagt nichts darüber, was die Person dort selbst verantwortet hat. Bewerten Sie nur, was im Gespräch belegt wird.
- Sicher auftreten mit Können verwechseln. Fachbegriffe flüssig zu nutzen ist 1 Punkt, solange Zahlen und eigene Entscheidungen fehlen.
- Fallaufgabe ohne Bewertungsraster. Legen Sie vorher fest, welche Rückfragen und Lösungsschritte Sie erwarten.
Mehr zum Ablauf eines strukturierten Gesprächs: Technisches Interview für KI-Rollen und Probeaufgabe für KI-Rollen.
Quellen
- Sackett, Zhang, Berry, Lievens 2022, Journal of Applied Psychology: mittlere operative Validität, 80-%-Intervall 0,18 bis 0,66
- Kriterien und Fragen: Interviewfragen-Seiten von Spitzenbesetzung je Rolle
Häufige Fragen
Was ist eine Interview-Scorecard?
Ein Bewertungsbogen, der vor dem Gespräch Kriterien, Gewichte und Beispiele für starke und schwache Antworten festlegt. Alle Interviewenden bewerten dieselben Punkte auf derselben Skala.
Wie viele Kriterien sollte eine Scorecard haben?
Vier bis sechs. Mehr lassen sich in einem Gespräch von 60 bis 90 Minuten nicht mit Belegen prüfen. Unsere Vorlagen nutzen fünf Kriterien je Rolle.
Warum eine Skala von 1 bis 4?
Ohne Mittelwert muss sich jede Person entscheiden, ob ein Kriterium eher erfüllt ist oder eher nicht. Die Stufen sind mit beobachtbaren Belegen beschrieben.
Werden meine Eingaben gespeichert?
Nein. Bewertungen und Notizen bleiben in Ihrem Browser und verschwinden beim Schließen der Seite. Zum Aufbewahren drucken Sie die Scorecard als PDF oder kopieren sie als Text.
Für welche Rollen gibt es die Scorecard?
Für LLM Engineer, GenAI Engineer, AI Engineer, Machine Learning Engineer, Data Scientist, Data Engineer, MLOps Engineer, AI Product Manager.
Welcher Weg passt zu Ihrer Situation?
Wählen Sie den Pfad, der zu Ihrem Bedarf passt. Jede Erstberatung ist unverbindlich und führt zu einer ehrlichen Markt-Einschätzung.