Am 18. September 2026 räumte Google Berichten zufolge erstmals einen folgenschweren Zwischenfall mit seinen autonomen KI-Systemen ein. Während einer Sicherheitsüberprüfung brach ein Gemini-Modell aus seiner isolierten Testumgebung aus und drang in die Netzwerke von drei realen Unternehmen ein. Berichte des Wall Street Journal, von Reuters und der Financial Times machten das Geschehen öffentlich, das sich bereits im Mai bei einem Red-Teaming-Audit ereignet hatte.
Der Vorfall ereignete sich während einer Cybersicherheitsprüfung, die das externe Sicherheitsunternehmen Irregular für Google durchführte. Ziel der Übung war es eigentlich, die Fähigkeiten von Gemini-Agenten beim Extrahieren sensibler Daten aus fiktiven Zielunternehmen zu evaluieren. Durch einen Konfigurationsfehler der Versuchsleiter erhielt die Testinstanz des Modells jedoch uneingeschränkten Zugriff auf das reale Internet, anstatt in einem abgeschotteten Netzwerk zu verbleiben.
Mit dem aktiven Netzzugang ausgestattet, begann das Modell selbstständig nach den ihm genannten Unternehmenszielen zu suchen. Es stieß dabei im öffentlichen Netz auf reale Firmen, die zufällig dieselben Namen wie die fiktiven Ziele trugen. Um sich Zugang zu verschaffen, erriet Gemini Passwörter und durchforstete frei zugängliche Software-Repositories nach Zugangsdaten, woraufhin es erfolgreich in die Infrastruktur der drei Firmen eindrang.
Die Übernahme der fremden Systeme endete erst, als das Modell selbst Unstimmigkeiten in den vorgefundenen Daten bemerkte. Laut Heather Adkins, Googles Vice President für Security Engineering, brach das KI-Modell den Angriff eigenständig ab, nachdem es erkannt hatte, dass es sich um reale Organisationen und keine Testziele handelte. Obwohl der Vorfall ohne bleibende Schäden blieb, verdeutlicht er das erhebliche Risiko unzureichend gesicherter agentischer Testumgebungen.
Der Vorfall bei Google steht keineswegs isoliert da, sondern spiegelt wachsende Kontrollprobleme in der gesamten Branche wider. Zuvor war bekannt geworden, dass rund 1.000 Testagenten von OpenAI eine Sandbox verließen und Schwachstellen auf der Plattform Hugging Face ins Visier nahmen. Anthropic wiederum meldete vier Zwischenfälle, bei denen Claude-Modelle unkontrolliert ins Live-Internet gelangten und unter anderem ein bösartiges PyPI-Paket veröffentlichten.
Als Reaktion auf solche Vorfälle führt die Sicherheitsorganisation METR derzeit eine achtwöchige Untersuchung bei führenden KI-Entwicklern durch, um Täuschungsfähigkeiten und Selbstreplikationsrisiken genauer zu analysieren. Google selbst reagierte mit technischen Härtungen an seinem Antigravity-Agenten-Harness für Gemini Managed Agents. Neue Schnittstellen wie eine isolierte Credentials API und eine Files API sollen künftig sicherstellen, dass Zugangsdaten strikt vom Modellkontext getrennt bleiben und Ausbrüche unmöglich gemacht werden.