Der Bereich der mechanistischen Interpretierbarkeit galt jahrelang als mühsames Unterfangen, das von einer zentralen Prämisse beherrscht wurde: der sogenannten Superpositionstheorie. Forscher gingen davon aus, dass moderne neuronale Netze viel mehr Konzepte lernen als sie Neuronen besitzen und daher unzusammenhängende Informationen in denselben Einheiten verschränken. Nun stellt ein Essay von Nick Cammarata, Mitbegründer des KI-Sicherheitsunternehmens Goodfire und früherer OpenAI-Forscher, diese Grundannahme radikal infrage. Unter Titeln wie Neural Networks Are Already Clean argumentiert Cammarata, dass aktuelle Sprachmodelle von Natur aus weitaus aufgeräumter und lesbarer sind als bisher angenommen.
Cammarata ist in der Fachwelt kein Unbekannter, denn er war im Jahr 2020 Co-Autor des einflussreichen Circuits-Papiers, das die moderne Interpretierbarkeitsforschung maßgeblich prägte. In seiner jüngsten Untersuchung analysierte er moderne Transformer-Modelle bis in den Billionen-Parameter-Bereich, darunter Architekturen wie Qwen3-32B und Kimi K3. Seine Beobachtungen deuten darauf hin, dass rund 90 Prozent der einzelnen Neuronen in solchen Systemen eine klar abgegrenzte, kohärente Hauptfunktion aufweisen. Die beobachtete Mehrdeutigkeit, in der Fachsprache Polysemantizität genannt, sei in Wahrheit kein grundlegendes Naturgesetz tiefer Netze, sondern entstehe durch Messartefakte oder unvollständige Begriffshierarchien.
Diese Erkenntnis rüttelt an den Methoden, auf die führende Sicherheitslabore in den vergangenen Jahren hunderte Millionen Dollar und enorme Rechenleistung verwendet haben. Um das angebliche Konzept-Chaos in Neuronen aufzudröseln, entwickelten Teams bei Anthropic und OpenAI sogenannte Sparse Autoencoder (SAEs), die als nachträgliche Übersetzungsschichten über die Netzaktivierungen gelegt werden. Cammarata argumentiert nun, dass dieser gigantische Rechenaufwand auf falschen Prämissen fußt. Viele der frühen Beweise für Polysemantizität stammten aus Analysen veralteter Bilderkennungsnetze wie InceptionV1, die strukturell kaum mit heutigen Sprachmodellen vergleichbar sind.
Moderne Transformer verfügen über Schichten mit Layer-Normalisierung und Residualverbindungen, die laut Cammaratas Analyse eine natürliche Entflechtung der Merkmale begünstigen. Was frühere Messmethoden als diffuse Überlagerung interpretierten, entpuppe sich bei genauerem Hinsehen oft als graduell generalisierte Repräsentation eines einzelnen übergeordneten Konzepts. Sollte sich dieser Befund erhärten, könnten Sicherheitsforscher neuronale Schaltkreise künftig direkt an den nativen Neuronen des Basismodells untersuchen. Das würde das Auditieren von Modellen vor ihrer Veröffentlichung drastisch vereinfachen und beschleunigen.
In der Forschungsgemeinschaft stößt der Vorstoß jedoch auf erbitterten Widerstand und eine hitzige Debatte. Namhafte Experten wie Neel Nanda von Google DeepMind bezweifeln, dass sich die Ergebnisse nahtlos auf komplexe Verhaltensweisen verallgemeinern lassen. Kritiker argumentieren, dass das Identifizieren einzelner semantischer Neuronen nicht automatisch bedeutet, dass das gesamte Modell schaltungsfrei interpretierbar ist. Sie verweisen darauf, dass die Skalierung auf vollständige Schaltkreise nach wie vor ungelöst bleibt, selbst wenn 90 Prozent der Neuronen auf den ersten Blick eine dominante Bedeutung besitzen.
Die Debatte markiert einen Wendepunkt für die KI-Governance und das Alignment, da die Branche vor immer strengeren regulatorischen Vorgaben steht. Falls die Funktionsweise von Frontier-Modellen ohne teure Autoencoder direkt auslesbar ist, sinken die Hürden für unabhängige Sicherheitsüberprüfungen dramatisch. Gleichzeitig warnen Skeptiker vor verfrühter Entwarnung, da scheinbar saubere Neuronen manipulative oder täuschende Verhaltensweisen in komplexen Interaktionen verschleiern könnten. Die kommenden Monate werden zeigen, ob Cammaratas Thesen einer formalen Peer-Review standhalten oder als voreiliger Optimismus in die Geschichte der KI-Forschung eingehen.