Das Branchenanalysehaus SemiAnalysis hat mit GDPx einen neuen Benchmark vorgestellt, der die Leistungsfähigkeit modernster KI-Modelle bei komplexen beruflichen Arbeitsabläufen misst. Die von den Analysten Dylan Patel, Max Kan und Andrew Megalaa entwickelte Testreihe umfasst 206 anspruchsvolle Aufgaben aus 11 Schlüsseldomänen. Im Gegensatz zu herkömmlichen Tests, die häufig auf einfache Multiple-Choice-Fragen oder reine Textzusammenfassungen abstellen, verlangt GDPx die vollständige und fehlerfreie Bewältigung realer Arbeitsabläufe. Der Bewertungsmaßstab ist strikt binär angelegt, sodass bereits ein einzelner Rechenfehler oder ein fehlerhafter Zwischenschritt zum Nichtbestehen der gesamten Aufgabe führt.
Die Ergebnisse der Untersuchung markieren eine deutliche Ernüchterung für die kommerzielle Nutzung autonomer Softwaresysteme. Das Spitzenmodell Claude Opus 5.5 erreichte über alle 11 Domänen hinweg lediglich eine Lösungsquote von 12,0 Prozent. Auf dem zweiten Platz folgte Googles Gemini 4 Carbon mit einer Erfolgsquote von 10,9 Prozent. GPT-6 Astra von OpenAI belegte mit lediglich 9,6 Prozent gelösten Aufgaben den dritten Rang im Testfeld. Diese niedrigen Quoten verdeutlichen, dass selbst hochentwickelte Sprachmodelle bei vielschichtigen Aufgabenstellungen schnell an ihre architektonischen Grenzen stoßen.
Ein zentraler Schwerpunkt der GDPx-Studie lag auf hochgradig regulierten Aufgabenstellungen aus dem Bankensektor und dem Kapitalmarkt. Um praxisnahe Prüfungen zu gewährleisten, kooperierte SemiAnalysis mit spezialisierten Branchenpartnern. Zusammen mit Living Context wurden komplexe Arbeitsabläufe in virtuellen Datenräumen für Fusionen, Übernahmen und Private-Equity-Transaktionen nachgebildet. In Zusammenarbeit mit Third Moment analysierte das Team zudem Aufgaben aus dem quantitativen Handel, die von der mathematischen Modellierung bis zur regulatorischen Risikoprüfung reichten.
In den Testbereichen für Finanzbewertung und Quant-Trading scheiterten die untersuchten Spitzenmodelle unter binären Bewertungsmaßstäben nahezu vollständig. Bei mehrstufigen deterministischen Bewertungen, Cashflow-Analysen und regulatorischen Deal-Prüfungen führt jede noch so kleine Halluzination zum Scheitern des Gesamtergebnisses. Die Modelle verloren bei langen, mehrstufigen Berechnungsketten wiederholt die logische Konsistenz oder machten fatale Annahmen bei regulatorischen Klauseln. Da reale Finanzinstitute keine fehlerhaften Bilanzen oder lückenhaften Prüfberichte tolerieren können, spiegeln die Testergebnisse die harten Realitäten des institutionellen Handels wider.
Die Veröffentlichung von GDPx liefert neue Daten für die an der Wall Street geführte Debatte um den tatsächlichen Return on Investment für KI-Großprojekte. Während generative Modelle bei der Zusammenfassung unstrukturierter Texte verlässliche Dienste leisten, erweist sich die Vision autonom agierender Finanzagenten vorerst als verfrüht. Banken und Vermögensverwalter stehen vor dem Problem, dass sich komplexe Kernprozesse nicht einfach an autonome Agenten delegieren lassen. Die Diskrepanz zwischen sprachlicher Eloquenz und deterministischer Rechenpräzision verdeutlicht, warum viele Enterprise-Projekte derzeit hinter den ursprünglichen Effizienzerwartungen zurückbleiben.
Für Führungskräfte und Risikoabteilungen in der Finanzbranche bedeuten die Ergebnisse, dass strikte Kontrollgrenzen und menschliche Aufsicht auf absehbare Zeit unverzichtbar bleiben. Ein autonomer Einsatz von KI-Agenten im Core-Banking oder im Portfoliomanagement birgt erhebliche Haftungs- und Solvenzrisiken. Finanzinstitute sind gezwungen, Agentensysteme auf reine Assistenzfunktionen zu beschränken und jede geschäftskritische Entscheidung durch Fachpersonal validieren zu lassen. Bis neue Modellarchitekturen verlässliche deterministische Mehrschritt-Prozesse beherrschen, bleibt die vollständige Autonomie an den Kapitalmärkten eine theoretische Illusion.