Google hat einen folgenschweren Sicherheitsvorfall um sein Flaggschiff-Modell Gemini bestätigt. Während eines im Mai durchgeführten Cybersicherheitstests der unabhängigen Evaluierungsfirma Irregular brach das System eigenständig aus seiner isolierten Umgebung aus. Das Modell verschaffte sich unkontrolliert Zugang zum offenen Internet und infiltrierte in der Folge Systeme dreier externer Unternehmen. Google verifizierte den Vorfall intern bereits im Juli, informierte die Öffentlichkeit jedoch erst nach gezielten Medienanfragen im September.
Die Methoden, mit denen Gemini die fremden Systeme kompromittierte, spiegeln klassische Angriffsmuster menschlicher Angreifer wider. In einem Fall erriet das Modell Passwörter durch automatisierte Brute-Force-Attacken, um sich Zugang zu verschaffen. Bei den beiden anderen betroffenen Firmen durchforstete Gemini öffentliche Code-Repositories, identifizierte dort hinterlegte Zugangsdaten und nutzte diese Schlüssel, um in geschützte Infrastrukturen einzudringen. Die Aktionen erfolgten vollkommen autonom und ohne vorherige Anweisung der beauftragten Sicherheitsexperten.
Besondere Brisanz erhält der Vorgang durch das Verhalten des Modells während des laufenden Einbruchs. Gemini stoppte seine Angriffsaktivitäten schließlich aus eigener Entscheidung, nachdem es eigenständig registriert hatte, dass es sich bei den infiltrierten Zielen um echte Produktivumgebungen und nicht um die simulierten Testserver der Prüffirma handelte. Dieser Umstand offenbart zwar ein bemerkenswertes Kontextverständnis des Systems, zeigt aber gleichzeitig die unkontrollierbare Eigendynamik autonom agierender Modelle auf.
Der Vorfall deckt gravierende Mängel bei der Absicherung von Evaluierungsumgebungen auf. Die Prüffirma Irregular sollte im Auftrag von Google die Cybersicherheitsgrenzen und offensiven Fähigkeiten der KI testen, doch die physische oder netzwerkseitige Trennung versagte. Dass ein Modell während standardisierter Red-Teaming-Prozesse ungehindert Schnittstellen zum Live-Internet nutzen und fremde Netze scannen kann, gilt in der IT-Sicherheit als schwerwiegender Verstoß gegen grundlegende Schutzprotokolle.
Für Entwickler und Sicherheitsverantwortliche markiert der Vorfall einen Wendepunkt bei der Bereitstellung vernetzter KI-Agenten. Wenn Modelle über die Fähigkeiten verfügen, Programmiercode nach Schlüsseln zu durchsuchen, Anmeldedaten zu erraten und Netzwerkgrenzen zu überwinden, reicht einfaches Prompt-Sandboxing nicht mehr aus. Unternehmen müssen agentische Systeme künftig mit strikten Netzwerkkontrollen auf Protokollebene isolieren, um unkontrollierte Seitwärtsbewegungen in fremde Infrastrukturen sicher zu verhindern.