Qwen3.8-Flash-Next sur votre ordinateur

Comment ça marche

• Le modèle est un ensemble de 24 576 petits experts et chaque mot écrit n’en utilise qu’une dizaine. Tous restent en RAM ; la carte garde les plus sollicités et apprend lesquels pendant la conversation. Le processeur calcule les autres en même temps que la carte, sans que l’un attende l’autre.
• Deviner puis vérifier : la couche de brouillon du modèle propose les mots suivants et le modèle complet les vérifie en une passe — une étape écrit donc deux à trois mots, 1,6–1,8x plus vite avec les mêmes réponses, car le grand modèle décide de chaque mot.
• Les longs prompts sont lus par blocs pouvant atteindre 8 192 tokens à plus de 1 000 tokens par seconde, et les experts de la couche suivante arrivent sur la carte via PCIe pendant le calcul de la couche courante.

De combien de RAM avez-vous besoin

Lesquelles de nos cartes font tourner Strata

MI210, MI50 et V100 ne figurent pas encore sur la liste de Strata — elles fonctionnent avec llama.cpp et vLLM sous ROCm ou CUDA, comme indiqué dans nos annonces. Une carte avec plus de VRAM est plus rapide avec Strata, car davantage d’experts restent sur le GPU.

Installation

Windows : lancez START-HERE.bat. Linux : ./setup.sh. L’installateur mesure votre PC, recommande une taille et démarre le modèle ; lancez ensuite strata connect pour le relier à votre outil de code. C’est gratuit et sous licence MIT ; les fichiers du modèle ont leurs propres licences.

Aussi : DeepSeek-V4.1-Flash

Le même programme fait tourner l’énorme modèle mixture-of-experts de DeepSeek avec son propre moteur, strata-dsv41 : 40 couches, 384 experts par couche, six utilisés pour chaque mot. Le modèle vit surtout en RAM et sur le processeur, les experts qui tiennent vont sur la carte graphique, et la table n-gram de 111 Go reste sur le SSD — gardez donc les fichiers sur un NVMe. Les jeux officiels 2 bits sont ceux qu’un PC normal fait tourner.

Mesuré : une RTX 5070 (12 Go) avec 64 Go de RAM répond à environ 4,7 tokens/s, une RTX 3060 (12 Go) avec 46 Go à environ 7,2, et quatre Radeon AI PRO R9700 à environ 31. Sous 40 Go de RAM environ, cela tourne mais très lentement — 64 Go ou plus est le plancher raisonnable, et c’est exactement la mémoire que nous vendons. Cette version n’a ni requêtes parallèles ni entrée d’images ; la réflexion est active par défaut et se désactive par requête.

./setup.sh --family deepseek41 --model IST-DAS-2.00bpw télécharge le jeu 2 bits, la table Engram partagée et le draft (257 Go, reprise possible, hachages vérifiés). strata launch --model ist-das-2.00bpw --plan montre où cela irait sur votre machine avant toute modification.

Questions