Journal · · 4 min de lecture
De combien de VRAM avez-vous vraiment besoin pour un modèle 27B ou 70B
Quatre nombres décident si un modèle local tourne bien : les poids, le cache de contexte, le pilote et ce qui reste. Voici le calcul, et quelle carte le passe.
La plupart des conseils d'achat commencent par la carte. Mieux vaut commencer par le calcul, car la carte n'est que la réponse.
Les poids font environ un à deux octets par paramètre
Les poids quantifiés dépendent du nombre de paramètres et de la précision de stockage. En 4 bits, un paramètre prend environ un demi-octet, en 8 bits environ un octet ; avec l'overhead des blocs de quantification, le chiffre pratique tourne autour d'un octet par paramètre en 4 bits et de deux en 8 bits.
- 27–32B en 4 bits : environ 18–20 Go
- 27–32B en 8 bits : environ 32–34 Go
- 70B en 4 bits : environ 40 Go
- 70B en 8 bits : environ 72 Go
Le cache de contexte, la partie qu'on oublie
Le cache qui garde la conversation dans le modèle grandit avec la fenêtre de contexte et avec le nombre de requêtes simultanées. À 32K tokens, il ajoute environ 2–4 Go sur un modèle 30B et 5–8 Go sur un 70B ; à 128K, ces chiffres se multiplient. Une carte qui loge tout juste les poids s'écroule dès qu'un long document arrive.
| Modèle | Précision | Poids | Cache à 32K | Carte confortable |
|---|---|---|---|---|
| 8B | 4 bits | ~5 Go | ~1–2 Go | 12–16 Go |
| 14B | 4 bits | ~8 Go | ~2–3 Go | 16–24 Go |
| 27–32B | 4 bits | ~18–20 Go | ~3–4 Go | 24 Go juste, 32–48 Go bien |
| 27–32B | 8 bits | ~32–34 Go | ~3–4 Go | 48 Go |
| 70B | 4 bits | ~40 Go | ~5–8 Go | 48 Go juste, 64 Go bien |
| 70B | 8 bits | ~72 Go | ~5–8 Go | deux cartes de 48 ou 64 Go |
Laissez environ un gigaoctet pour le pilote et le bureau. Une carte de 24 Go qui fait tourner un modèle de 20 Go n'est pas une carte de 24 Go : c'est une carte de 20 Go avec 4 Go de marge, et c'est exactement là que vit un 27B en 4 bits.
Ce que cela veut dire pour les cartes que nous vendons
- 64 Go sur une carte — un 70B en 4 bits tient avec un long contexte et plusieurs requêtes en parallèle. L'Instinct MI210 est la voie la moins chère vers ce chiffre au gigaoctet, et elle est passive : il lui faut du flux d'air (voir la page matériel IA).
- 48 Go sur une carte — un 70B en 4 bits tient avec un contexte modéré, et un 32B en 8 bits tient à l'aise. La Radeon PRO W7900 le fait dans un boîtier tour normal, avec sa turbine et ses sorties vidéo.
- 32 Go — 32B en 8 bits, ou 70B en 4 bits seulement avec un contexte court. La Radeon Pro V620 est ici, et c'est le bon rapport qualité-prix si le modèle est de classe 30B.
- Deux cartes plus petites — 2 × 24 Go donnent 48 Go au total, mais chaque couche doit tenir sur une seule carte : un 70B en 4 bits ne marche qu'avec du tensor parallelism, qui exige un lien rapide entre les cartes. Une seule carte de même capacité est plus simple et plus silencieuse.
Occasion ou neuve, et pourquoi cela compte pour le calcul
Une carte de centre de données d'occasion est souvent la façon la moins chère d'acheter de la mémoire : le calcul est plus ancien, la mémoire est exactement ce dont le modèle a besoin. Ce qui change, c'est la liste de prise en charge — ROCm soutient officiellement les Instinct MI200 et RDNA 3, alors que les RDNA 2 et CDNA 1 plus anciennes tournent avec llama.cpp mais sortent de la liste du constructeur. Vérifiez la ligne logicielle de chaque annonce avant d'acheter, pas après.
Une autre option : partager le travail avec le processeur
Tous les modèles ne doivent pas tenir en VRAM. Les modèles mixture-of-experts gardent la plupart de leurs poids inactifs pour un mot donné : un moteur peut donc garder les experts en RAM système et les calculer sur le processeur pendant que la carte fait le reste. Strata fait exactement cela avec Qwen3.8-Flash-Next et DeepSeek-V4.1-Flash : une carte de 12 Go avec 64 Go de RAM répond à quelques tokens par seconde, et une carte de 24 Go est nettement plus rapide car plus d'experts restent sur le GPU. C'est l'argument pour 64 Go de mémoire système dans une station de travail — ce qu'il faut par carte est ici.
En bref
Pour un modèle 27–32B en 4 bits, 24 Go suffisent et 32 Go sont confortables. Pour un 70B en 4 bits, prenez 48 Go si vous gardez un contexte court et 64 Go sinon. Pour un 70B en 8 bits, prévoyez deux cartes ou un budget de modules de 128 Go en RAM système. Le reste, c'est le refroidissement et le logiciel pris en charge.
D'où viennent ces informations
Chaque chiffre et affirmation ci-dessus provient des articles ci-dessous. Les liens ouvrent les originaux — à lire si les détails comptent pour vous.