Hochqualifizierte Fachkräfte gelten in vielen Unternehmen als verlässliche Kontrollinstanz gegen fehlerhafte Entscheidungen automatisierter Systeme. Eine Ende Oktober 2026 veröffentlichte Forschungsarbeit des Sicherheitsbereichs Anthropic Alignment Science stellt diese Annahme nun grundlegend infrage. Das Team um Alex Tamkin untersuchte in einem kontrollierten Experiment, wie professionelle Datenanalysten bei anspruchsvollen methodischen Abwägungen mit dem Programmieragenten Claude Code interagieren. Die Ergebnisse belegen eine bemerkenswerte Anfälligkeit für den sogenannten Automation Bias: In 86 Prozent der beobachteten Fälle schlossen sich die Experten den Empfehlungen des Agenten an.
Um den tatsächlichen Steuerungseffekt des Modells präzise zu messen, griffen die Forschenden auf eine besondere Versuchsanordnung zurück. Die inhaltliche Ausrichtung und methodische Tendenz des KI-Agenten wurde vor jedem Testlauf rein zufällig per Münzwurf bestimmt. Obwohl die Ratschläge des Agenten somit keinem sachlichen Kalkül folgten, betrug der Netto-Steuerungseffekt durch das System 72 Prozentpunkte. Die Versuchspersonen liessen sich also selbst bei methodisch willkürlich gesetzten Tendenzen fast ausnahmslos in die vorgegebene Richtung lenken.
Besonders deutlich trat der Verlust der menschlichen Urteilskraft zutage, wenn Fachleute bereits vor der Interaktion mit dem Agenten eine fundierte eigene Position formuliert hatten. Wurden sie anschliessend von der KI mit einer gegenteiligen Empfehlung konfrontiert, änderten 60 Prozent der Experten ihre ursprüngliche Einschätzung und schlossen sich dem System an. Stimmte der Agent hingegen mit der Vorabwahl der Experten überein, revidierten lediglich sechs Prozent ihre Meinung. Dieser eklatante Unterschied verdeutlicht, wie gering der tatsächliche Widerstand erfahrener Fachkräfte gegenüber algorithmischen Widersprüchen in der Praxis ausfällt.
Gleichzeitig offenbarte das Experiment eine erhebliche Verzerrung in der Selbstwahrnehmung der beteiligten Fachkräfte. Nach Abschluss der Aufgabenstellung waren 52 Prozent der Probanden davon überzeugt, das Endergebnis sei ihre eigene, unabhängige Leistung gewesen. Zudem übernahmen 77 Prozent der Analysten die Argumentationsmuster des KI-Agenten nahezu wortgleich in ihren Abschlussbericht. Lediglich 15 Prozent nannten das Sprachmodell in ihrer Dokumentation explizit als Quelle für die getroffene methodische Entscheidung.
Aus betriebswirtschaftlicher Sicht lieferte der Einsatz des Agenten durchaus greifbare Produktivitätsgewinne. Die Bearbeitungszeit sank im Median von 90 auf 65 Minuten, während schwerwiegende methodische Fehler von 55 Prozent auf sechs Prozent zurückgingen. Dennoch warnen die Autoren der Untersuchung vor den institutionellen Risiken dieser Entwicklung. Wenn Kontrollinstanzen die Urteile von Algorithmen blind absegnen und die Urheberschaft verschleiern, verkommt die geforderte menschliche Aufsicht zu einer reinen Farce.