Sicherheitsforscher des Max-Planck-Instituts für intelligente Systeme und des ELLIS-Instituts Tübingen haben eine gravierende Schwachstelle bei namhaften KI-Anbietern aufgedeckt. Die wissenschaftliche Arbeit veranschaulicht, wie geschützte Argumentationsketten kommerzieller Sprachmodelle extrahiert werden können. Betroffen von der Methodik sind unter anderem die Schnittstellen von OpenAI, Anthropic und Google. Die Entdeckung wirft ein neues Licht auf die Sicherheitsrisiken bei der Nutzung moderner KI-Agenten im Firmenkontext.
Im Zentrum der Analyse steht das sogenannte Chain-of-Thought-Verfahren, bei dem Sprachmodelle logische Zwischenschritte vor der Generierung der eigentlichen Antwort berechnen. Diese internen Denkpfade übertragen die Anbieter normalerweise nicht in Klartext an den Endnutzer. Durch eine neu entwickelte Replay-Attacke gelang es den Forschern jedoch, die verschlüsselten Denkstränge gezielt abzugreifen. Hierzu nutzten sie schwächere Zielmodelle, um die verborgenen Informationen schrittweise zu rekonstruieren und auszulesen.
Die Ausmaße des Datenlecks reichen weit über theoretische Szenarien hinaus und betreffen reale Anwendungen. Bei der Überprüfung von mehr als 315.000 öffentlichen Logfiles stießen die Wissenschaftler auf eine Vielzahl ungeschützter Datensätze. In diesen Protokollen wurden zahlreiche aktive API-Schlüssel sowie personenbezogene Informationen freigelegt. Solche vertraulichen Daten können von Angreifern genutzt werden, um unberechtigten Zugriff auf Unternehmensnetzwerke zu erlangen.
Für Unternehmen im deutschsprachigen Raum bedeutet dieser Befund ein erhebliches Sicherheitsrisiko bei der Automatisierung von Betriebsabläufen. Viele Unternehmen integrieren KI-Agenten direkt in ihre Software-Entwicklung und interne Dokumentenverarbeitung. Wenn diese Systeme ungeprüft Prototyp-Protokolle generieren oder Schnittstellendaten extern speichern, drohen ungewollte Quellcode- und Datenabflüsse. Insbesondere im B2B-Sektor stehen Unternehmen nun vor der Herausforderung, ihre Agenten-Protokolle strikt abzusichern.
Die Forscher mahnen daher zu einer grundlegenden Überarbeitung der Schnittstellenarchitekturen bei KI-Anbietern und Unternehmenskunden. Bisher verließen sich Entwickler darauf, dass die internen Logikschritte proprietärer Sprachmodelle geschützt in der Cloud verbleiben. Da Replay-Angriffe diese Schutzmechanismen untergraben, reichen herkömmliche Verschlüsselungen nicht mehr aus. IT-Sicherheitsteams müssen künftig KI-Ausgaben und externe Aufrufe konsequenter überwachen und filtern.
Die Enthüllungen verdeutlichen die Komplexität bei der Absicherung moderner KI-Systeme im Unternehmensalltag. Während der Einsatz von automatisierten Agenten im Mittelstand zunimmt, hinkt das Verständnis für die zugrundeliegenden Sicherheitsrisiken oft hinterher. Experten raten dazu, interne Entwicklungsrichtlinien unverzüglich an die neuen Erkenntnisse anzupassen. Nur durch umfassende Audits und strikte Zugriffskontrollen lassen sich sensible Firmendaten wirksam vor Angriffen schützen.