PERSONALquarterly 4/2016 - page 45

04/16 PERSONALquarterly
45
auf die Entscheidungsqualität ein und betrachten dann die
Einstellungen der Mitarbeiter und Bewerber hinsichtlich Ex­
pertenurteil versus Algorithmus.
Wie hoch ist die Entscheidungsqualität von Experten und
Algorithmen?
Der Psychologe Paul E. Meehl traf in seinem Buch „Clinical vs.
Statistical Prediction: A Theoretical Analysis and a Review of
the Evidence“ bereits 1954 die Annahme, dass mechanische
Verfahren überlegen sein sollten, gerade weil sie klaren Regeln
folgen und die Ergebnisse so komplett nachvollziehbar sind.
Damals war die Evidenz zu dieser Fragestellung noch sehr be­
grenzt, doch in den folgenden Jahrzehnten wurde eine Vielzahl
von Studien durchgeführt, die uns heute ein sehr stabiles Bild
zeichnen: Der Algorithmus ist fast immer besser, auch wenn er
gegen sehr erfahrene Experten antritt. Eine Meta-Analyse von
Grove und Kollegen (2000) betrachtete insgesamt über 100 Stu­
dien aus den Bereichen Bildung, finanzielle Entscheidungen,
Forensik, Persönlichkeitsdiagnostik und Medizin (vgl. Abb. 1).
Die Autoren kommen zu dem Ergebnis, dass in allen Bereichen
der Algorithmus im Durchschnitt eine höhere Vorhersagekraft
hat als das Expertenurteil. Die Autoren untersuchten verschie­
dene Settings und kommen zu dem Ergebnis: „Superiority for
mechanical-prediction techniques was consistent, regardless
of the judgment task, type of judges, judges‘ amounts of ex­
perience, or the types of data being combined“ (Grove et al.,
2000, S. 19). Unter den insgesamt 136 betrachteten Studien
sind nur acht, bei denen Experten überlegen waren (Effekt­
stärke d > 0,10 zugunsten der Experten), in 65 Studien ergab
sich kein substanzieller Unterschied und in 63 Studien war
der Algorithmus überlegen (Effektstärke d > 0,10 zugunsten
des Algorithmus).
Diese Ergebnisse liefern einen allgemeinen Eindruck, sind
aber nicht spezifisch für die Personalarbeit. Eine Meta-Analyse
von Kuncel und Kollegen (2013) bietet hier tiefere Einsichten zu
Personalauswahl, Leistung und Trainingserfolg. Das Ergebnis
ist auch hier, dass der Algorithmus dem Expertenurteil zumeist
überlegen ist. Entsprechend fassen die Autoren ihre Ergeb­
nisse wie folgt zusammen (Kuncel et al., 2013, S. 1060): „There
was consistent and substantial loss of validity when data were
combined holistically – even by experts who are knowledgeable
about the jobs and organizations in question – across multiple
criteria in work and academic settings.“ Die Anzahl der Studien
in dieser Meta-Analyse ist allerdings überschaubar, weswegen
wir nur eine vorsichtige Verallgemeinerung der Ergebnisse für
die Personalarbeit wagen. Die Korrelationskoeffizienten in Ab­
bildung 2 geben den durchschnittlichen Zusammenhang zwi­
schen Vorhersage durch Algorithmus bzw. Experten und dem
tatsächlichen Ergebnis (Leistung, Beförderung oder Trainings­
erfolg) wieder. Eine hohe Korrelation bedeutet entsprechend
eine hohe Vorhersagekraft. Die Ergebnisse für den Algorith­
mus basieren auf Regressionsanalysen, die für die jeweilige
Stichprobe optimiert werden. Es werden also die Gewichte für
die verschiedenen Prädiktoren (z.B. Leistungsindikatoren) so
Abb. 2: Vergleich der Vorhersagekraft von Algorithmus und Expertenurteil im
Personalmanagement
Quelle: Kuncel et al., 2013
N k Algorithmus Experten
Leistung Ca. 1200 9 rselbe Stichprobe = 0,47
rneue Stichprobe = 0,40
r = 0,28
Beförderungen 683 5 rselbe Stichprobe = 0,50
rneue Stichprobe = 0,36
r = 0,36
Trainingserfolg 188 2 rselbe Stichprobe = 0,31
rneue Stichprobe = 0,31
r = 0,16
Anmerkungen. N = Stichprobengröße; k = Anzahl der Studien; rgleiches Sample erfasst die Korrelation von Algorithmus und Ergebnis (Leistung, Beförderung
oder Trainingserfolg) im selben Sample; rneues Sample erfasst die durchschnittliche Korrelation von Algorithmus und Ergebnis (Leistung, Beförderung oder
Trainingserfolg) in einem weiteren Sample (siehe Text).