Das Training und die Feinabstimmung neuronaler Netze basieren seit Jahrzehnten auf rechenintensiven Optimierungsverfahren wie dem Gradientenabstieg und Backpropagation. Ein Forschungsteam des MIT CSAIL unter der Leitung von Rikiya Takehi, Jayden Teoh, Alex Zhang und DSPy-Erstautor Omar Khattab hat am 2. November 2026 eine alternative Methode vorgestellt. In ihrer Arbeit mit dem Titel 'Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights' belegen die Autoren, dass moderne Frontier-Modelle Gewichtsmatrizen kleinerer Netzwerke wie Programmiercode lesen und gezielt umschreiben können. Dieser Ansatz umgeht klassische Trainingsschleifen vollständig.
In den Experimenten setzten die Wissenschaftler das Modell GPT-6 Astra ohne vorheriges Spezialtraining auf die Rohdaten von Tensoren an. In einem ersten Diagnosetest analysierte das Modell bloße Gewichtsmatrizen strukturell identischer Steuerungsnetzwerke für verschiedene Atari-Klassiker. GPT-6 Astra konnte anhand der Parameter zuverlässig zuordnen, ob ein Netzwerk für Spiele wie Breakout, Pong, Pac-Man oder Freeway trainiert worden war. Das Modell demonstrierte damit ein bisher unbeachtetes semantisches Verständnis hochdimensionaler Parameterstrukturen.
Über die reine Diagnose hinaus gelang den Forschenden ein operativer Eingriff in fehlerhafte Modellarchitekturen. Am Open-Source-Modell Qwen3.5-0.8B identifizierten sie eine Fehlstellung in den Vektoren, die das Modell in unproduktive Endlosschleifen beim logischen Denken verwickelte. Durch die gezielte Modifikation von lediglich 0,016 Prozent der Modellgewichte erzielte das reparierte Modell einen Leistungssprung. Auf dem Mathematik-Benchmark MATH-500 stieg die Genauigkeit von ursprünglich 7,9 Prozent auf 48,1 Prozent, während sich die Erfolgsquote im Instruction-Following-Benchmark IFEval verdreifachte.
Das Forschungsteam dämpft jedoch überzogene Erwartungen hinsichtlich einer universellen Erschaffung neuen Wissens aus dem Nichts. Die Autoren betonen ausdrücklich, dass Weight-Space Programming vor allem bestehende, aber blockierte Fähigkeiten freilegen oder Fehlsteuerungen korrigieren kann. Fähigkeiten, die während des ursprünglichen Vortrainings gar nicht in den Trainingsdaten angelegt waren, lassen sich durch die bloße Manipulation der Parameter nicht nachträglich hineinprogrammieren. Die Technik fungiert somit eher als chirurgisches Werkzeug zur Fehlerbehebung denn als vollwertiger Ersatz für grundlegendes Basistraining.
Nur einen Tag nach der Veröffentlichung lieferte der Softwareentwickler Simon Willison am 3. November 2026 eine Replikation auf lokaler Hardware. Unter Verwendung des offenen Modells Qwen 3.8 27B demonstrierte Willison auf einem handelsüblichen Laptop, dass auch offene Architekturen Gewichtsmatrizen einfacher Filternetzwerke interpretieren können. Dies legt nahe, dass die Fähigkeit zum Parameterverständnis keine exklusive Eigenschaft gigantischer, proprietärer Rechenzentrumsmodelle ist, sondern sich zunehmend auch in kompakten Systemen manifestiert.