Journal · · 3 Min. Lesezeit
Wie viel VRAM ein 27B- oder 70B-Modell wirklich braucht
Vier Zahlen entscheiden, ob ein lokales Modell gut läuft: Gewichte, Kontext-Cache, Treiber und was übrig bleibt. Hier die Rechnung — und welche Karte sie schafft.
Die meisten Kaufberatungen beginnen mit der Karte. Besser beginnt man mit der Rechnung, denn die Karte ist nur die Antwort.
Gewichte sind etwa ein bis zwei Byte pro Parameter
Quantisierte Gewichte skalieren mit der Parameterzahl und der Speicherpräzision. Bei 4 Bit braucht ein Parameter etwa ein halbes Byte, bei 8 Bit etwa ein Byte; mit dem Overhead der Quantisierungsblöcke landet man praktisch bei rund einem Byte pro Parameter in 4 Bit und zwei in 8 Bit.
- 27–32B in 4 Bit: etwa 18–20 GB
- 27–32B in 8 Bit: etwa 32–34 GB
- 70B in 4 Bit: etwa 40 GB
- 70B in 8 Bit: etwa 72 GB
Der Kontext-Cache ist der Teil, den man vergisst
Der Cache, der die Unterhaltung im Modell hält, wächst mit dem Kontextfenster und mit der Zahl paralleler Anfragen. Bei 32K Token kommen etwa 2–4 GB bei einem 30B-Modell und 5–8 GB bei einem 70B dazu; bei 128K vervielfacht sich das. Eine Karte, die die Gewichte gerade so aufnimmt, bricht ein, sobald ein langes Dokument kommt.
| Modell | Genauigkeit | Gewichte | Cache bei 32K | Passende Karte |
|---|---|---|---|---|
| 8B | 4 Bit | ~5 GB | ~1–2 GB | 12–16 GB |
| 14B | 4 Bit | ~8 GB | ~2–3 GB | 16–24 GB |
| 27–32B | 4 Bit | ~18–20 GB | ~3–4 GB | 24 GB knapp, 32–48 GB gut |
| 27–32B | 8 Bit | ~32–34 GB | ~3–4 GB | 48 GB |
| 70B | 4 Bit | ~40 GB | ~5–8 GB | 48 GB knapp, 64 GB gut |
| 70B | 8 Bit | ~72 GB | ~5–8 GB | zwei 48- oder 64-GB-Karten |
Lassen Sie etwa ein Gigabyte für Treiber und Desktop. Eine 24-GB-Karte mit einem 20-GB-Modell ist keine 24-GB-Karte, sondern eine 20-GB-Karte mit 4 GB Luft — und genau dort liegt ein 27B in 4 Bit.
Was das für unsere Karten heißt
- 64 GB auf einer Karte — ein 70B in 4 Bit passt mit langem Kontext und mehreren parallelen Anfragen. Die Instinct MI210 ist der günstigste Weg zu dieser Zahl pro Gigabyte, und sie ist passiv, braucht also Luftstrom (siehe KI-Hardware-Seite).
- 48 GB auf einer Karte — ein 70B in 4 Bit passt bei mäßigem Kontext, ein 32B in 8 Bit passt bequem. Die Radeon PRO W7900 schafft das in einem normalen Tower mit eigenem Lüfter und Monitorausgängen.
- 32 GB — 32B in 8 Bit oder 70B in 4 Bit nur mit kurzem Kontext. Hier sitzt die Radeon Pro V620, die Preis-Leistungs-Wahl für 30B-Klasse.
- Zwei kleinere Karten — 2 × 24 GB ergeben 48 GB, aber jede Schicht muss auf eine Karte passen: ein 70B in 4 Bit läuft nur mit Tensor-Parallelismus, der eine schnelle Verbindung braucht. Eine Karte mit derselben Kapazität ist einfacher und leiser.
Gebraucht oder neu — und warum das für die Rechnung zählt
Eine gebrauchte Rechenzentrumskarte ist meist der günstigste Weg zu Speicher: die Rechenleistung ist älter, der Speicher genau das, was das Modell braucht. Was sich ändert, ist die Support-Liste — ROCm unterstützt offiziell die Instinct-MI200-Serie und RDNA 3, während ältere RDNA 2 und CDNA 1 mit llama.cpp laufen, aber von der Herstellerliste fallen. Prüfen Sie die Software-Zeile jeder Anzeige vor dem Kauf, nicht danach.
Eine weitere Option: die Arbeit mit dem Prozessor teilen
Nicht jedes Modell muss in den VRAM passen. Mixture-of-Experts-Modelle lassen die meisten Gewichte für ein gegebenes Wort ruhen, also kann eine Engine die Experten im Systemspeicher halten und auf der CPU rechnen, während die Karte den Rest macht. Strata macht genau das mit Qwen3.8-Flash-Next und DeepSeek-V4.1-Flash: eine 12-GB-Karte mit 64 GB RAM antwortet mit einigen Token pro Sekunde, eine 24-GB-Karte ist deutlich schneller, weil mehr Experten auf der GPU bleiben. Das ist das Argument für 64 GB Systemspeicher in einer Workstation — was jede Karte braucht, steht hier.
Kurz gefasst
Für ein 27–32B-Modell in 4 Bit reichen 24 GB, 32 GB sind bequem. Für 70B in 4 Bit nehmen Sie 48 GB bei kurzem Kontext und 64 GB, wenn nicht. Für 70B in 8 Bit planen Sie zwei Karten oder ein Budget für 128-GB-Module im Systemspeicher. Alles andere ist eine Frage von Kühlung und unterstützter Software.
Woher das kommt
Jede Zahl und jede Aussage oben stammt aus den folgenden Beiträgen. Die Links öffnen die Originale — lesenswert, wenn die Details für Sie zählen.