Qwen3.8-Flash-Next auf dem eigenen Rechner

Wie es funktioniert

• Das Modell besteht aus 24 576 kleinen Experten, und jedes geschriebene Wort braucht etwa zehn davon. Alle liegen im RAM, die Karte hält die meistgefragten und lernt beim Chatten, welche das sind. Der Prozessor rechnet den Rest gleichzeitig mit der Karte — keiner wartet auf den anderen.
• Raten, dann prüfen: Die Entwurfsschicht des Modells schlägt die nächsten Wörter vor, das volle Modell prüft sie in einem Durchlauf — ein Schritt schreibt so zwei bis drei Wörter, 1,6–1,8x schneller bei gleichen Antworten, weil das große Modell jedes Wort entscheidet.
• Lange Prompts werden in Blöcken bis 8.192 Token mit über 1.000 Token pro Sekunde gelesen; die Experten der nächsten Schicht strömen über PCIe zur Karte, während die aktuelle Schicht gerechnet wird.

Wie viel RAM nötig ist

Welche unserer Karten Strata ausführen

MI210, MI50 und V100 stehen noch nicht auf der Strata-Liste — sie laufen mit llama.cpp und vLLM unter ROCm oder CUDA, wie in unseren Angeboten angegeben. Mehr VRAM bedeutet mit Strata mehr Geschwindigkeit, weil mehr Experten auf der GPU bleiben.

Installation

Windows: START-HERE.bat ausführen. Linux: ./setup.sh. Der Installer misst den PC, empfiehlt eine Größe und startet das Modell; danach strata connect ausführen, um das Coding-Tool anzubinden. Kostenlos und MIT-lizenziert; die Modelldateien haben eigene Lizenzen.

Auch: DeepSeek-V4.1-Flash

Dasselbe Programm fährt DeepSeeks großes Mixture-of-Experts-Modell mit eigener Engine, strata-dsv41: 40 Schichten, je 384 Experten, sechs davon pro Wort. Das Modell liegt überwiegend im RAM und auf der CPU, die passenden Experten gehen auf die Grafikkarte, und die 111 GB große n-gram-Tabelle bleibt auf der SSD — die Dateien also auf eine NVMe legen. Die offiziellen 2-Bit-Sätze sind die, die ein normaler PC schafft.

Gemessen: eine RTX 5070 (12 GB) mit 64 GB RAM antwortet mit etwa 4,7 Token/s, eine RTX 3060 (12 GB) mit 46 GB mit etwa 7,2, vier Radeon AI PRO R9700 mit etwa 31. Unter rund 40 GB RAM läuft es, aber sehr langsam — 64 GB oder mehr sind die vernünftige Untergrenze, und genau diesen Systemspeicher verkaufen wir. Diese Version hat keine parallelen Anfragen und keinen Bild-Input; das Nachdenken ist standardmäßig an und lässt sich pro Anfrage abschalten.

./setup.sh --family deepseek41 --model IST-DAS-2.00bpw lädt den 2-Bit-Satz, die gemeinsame Engram-Tabelle und den Drafter (257 GB, fortsetzbar, hash-geprüft). strata launch --model ist-das-2.00bpw --plan zeigt vorher, wo es auf dem Rechner landen würde.

Fragen