Das KI-Unternehmen DeepSeek hat am 20. Oktober 2026 seine interne Inferenzplattform DeepInfer überraschend als Open-Source-Software freigegeben. Das unter der liberalen Apache-2.0-Lizenz auf GitHub publizierte Framework bildet das technologische Rückgrat, mit dem das Unternehmen sein kürzlich eingeführtes Modell V4.1-Flash im Produktivbetrieb betreibt. Für Entwickler und Infrastrukturbetreiber bedeutet dieser Schritt einen tiefen Einblick in hochoptimierte Produktionsumgebungen, die bislang weitgehend hinter verschlossenen Türen verblieben.
Die von DeepSeek in der Begleitdokumentation genannten Leistungsdaten zeichnen ein bemerkenswertes Bild der Skalierbarkeit. Ein einzelner Produktions-Cluster, der mit DeepInfer betrieben wird, bewältigt demnach einen Durchsatz von 155 Billionen Tokens pro Tag. Eine derart massive Auslastung demonstriert, wie stark die Nachfrage nach kostengünstigen Inferenzkapazitäten gewachsen ist und welche Hebel Software-Optimierungen auf Rechenzentrumsebene bieten.
Auf technologischer Ebene hebt sich DeepInfer durch die parallele Unterstützung unterschiedlicher Hardware-Architekturen ab. Neben modernen NVIDIA-Beschleunigern der SM100-Generation unterstützt die Software nativ auch die Ascend-950-Chips von Huawei. Diese hybride Ausrichtung verdeutlicht das Bestreben chinesischer KI-Anbieter, Rechenlasten flexibel zu verteilen und die Abhängigkeit von einzelnen Hardware-Herstellern gezielt zu verringern.
Der Software-Stack bündelt mehrere spezialisierte Komponenten, die direkt auf maximale Inferenzgeschwindigkeit und Speicherbandbreite abzielen. Dazu zählen proprietäre Beschleunigungskerne wie FlashMLA, DeepEP und DeepGEMM, die rechenintensive Matrixoperationen beschleunigen. Ergänzt wird die Architektur durch ein spekulatives Dekodierungsverfahren namens DSpark sowie ein Prompt-Caching, das Kontextdaten über Zeiträume von bis zu 72 Stunden hinweg im Speicher vorhält.
Neben technischen Details legt DeepSeek ungewöhnlich transparente Zahlen zur Wirtschaftlichkeit des Inferenzbetriebs vor. Nach Unternehmensangaben erzielt ein Cluster bei Off-Peak-Tarifen einen Umsatz von bis zu 38 US-Dollar pro Beschleunigerkarte und Betriebsstunde. Dies summiert sich auf einen täglichen Gesamtumsatz von rund 22 Millionen US-Dollar pro Cluster bei einer geschätzten operativen Marge von circa 80 Prozent, womit sich die Amortisationsdauer der Hardware auf etwa 81 Tage beläuft.
Flankierend zur Hauptplattform veröffentlichte DeepSeek das Werkzeug deepseek-recipe, das Entwicklern die Standardisierung von Token-Streaming-Schnittstellen erleichtern soll. Die Veröffentlichung von DeepInfer dürfte den Wettbewerb unter den Anbietern von Inferenzsoftware deutlich verschärfen. Indem DeepSeek bewährte Produktionskomponenten frei verfügbar macht, geraten kommerzielle Inferenz-Frameworks zunehmend unter Druck, ihre Effizienz und Kostenstruktur nachzubessern.