KI-Rig-Hardware

Die passende Karte

Nach Speicher wählen, nicht nach Namen

Bei lokalen Modellen zählt der Speicher, nicht der Takt. Grobe Regel: die Gewichte brauchen bei 4 Bit etwa ein Byte pro Parameter, bei 8 Bit zwei — plus Kontext-Cache. Ein 70B-Modell in 4 Bit sind rund 40 GB Gewichte; mit 48 GB passt es bequem, mit 64 GB bleibt auch ein langer Kontext drin.

Wie viel Speicher ein Modell braucht

Modell	Genauigkeit	Gewichte	Passt auf
7–8B	8 Bit	~8 GB	12–16-GB-Karte
13–14B	8 Bit	~14 GB	24-GB-Karte
30–32B	4 Bit	~18–20 GB	24 GB knapp, 32 GB gut
30–32B	8 Bit	~32–34 GB	48-GB-Karte
70B	4 Bit	~40 GB	48 GB bequem, 64 GB großzügig
70B	8 Bit	~72 GB	zwei 48- oder 64-GB-Karten
120B MoE	4 Bit	~65–75 GB	64 GB knapp, 128 GB gut

Das sind nur die Gewichte. Für den Kontext-Cache kommen je nach Fenster und Parallelität 1–8 GB dazu, plus ein Gigabyte für den Treiber. Quantisierung unter 4 Bit spart Speicher, kostet aber Qualität; ein zu großes Modell läuft trotzdem — es fällt in den Systemspeicher und wird mehrere Male langsamer. Deshalb hält eine Maschine mit 512 GB RAM ein MoE-Modell, das keine einzelne Karte aufnimmt.

Unsere Karten und wofür sie gedacht sind

Karte	Speicher	Preis	Für
NVIDIA Tesla V100 32GB HBM2 PCIe	32 GB HBM2	820,00 €	Gebraucht, mit Lüfter — GPU für KI / lokale LLMs
AMD Instinct MI50 32GB HBM2	32 GB HBM2	639,00 €	32-GB-HBM2-Rechenkarte — lokale LLMs
NVIDIA Tesla V100 16GB HBM2 PCIe	16 GB HBM2	289,00 €	Gebraucht, mit Lüfter — GPU für KI / lokale LLMs
NVIDIA GeForce RTX 2080 Ti 22GB	22 GB GDDR6 (erweitert von 11 GB)	629,00 €	Speicher auf 22 GB erweitert, Radiallüfter — KI und Gaming
NVIDIA GeForce RTX 3080 20GB	20 GB (erweitert von 10 GB)	749,00 €	Speicher auf 20 GB erweitert, Radiallüfter — KI und Gaming
AMD Radeon Pro V620 32GB	32 GB GDDR6	939,00 €	32 GB GDDR6, offiziell von ROCm unterstützt — lokale LLMs
ASUS PRO WS WRX80E-SAGE SE WIFI II	8 × DDR4 DIMM, max. 2048 GB, 8 Kanäle, ECC R-DIMM / LR-DIMM	1.299,00 €	sWRX8-Workstation-Board — 7 × PCIe 4.0 x16, 8-Kanal-DDR4
AMD Instinct MI210 64GB / Infinity Fabric bridge	64 GB HBM2e	789,00 €	64 GB HBM2e · 104 CU · PCIe 4.0 x16 — oder die Infinity-Fabric-Bridge
AMD Radeon PRO W7900 48GB	48 GB GDDR6 with ECC	4.499,00 €	48 GB GDDR6 ECC · 96 CU · passt in ein normales Gehäuse
Micron 64GB DDR4-3200 ECC RDIMM	—	599,00 €	MTA36ASF8G72PZ-3G2E1 · 2Rx4 · für sWRX8 und DDR4-Server
HPE 128GB DDR4 ECC LRDIMM (4Rx4)	—	1.599,00 €	1 × 128 GB · PC4-25600 · das größte DDR4-Modul

Speicher für die Maschine, nicht nur für die Karte

Acht DIMM-Slots auf dem WRX80-Board ergeben 512 GB mit 64-GB-Modulen oder 1 TB mit 128-GB-Modulen. Dieser Systemspeicher arbeitet mit: er hält die Modelldateien, das OS und bei Mixture-of-Experts-Modellen die Teile, die nicht in den VRAM passen — oft der Unterschied zwischen einem 120B-Modell in brauchbarer Geschwindigkeit und gar keinem Betrieb. Für alle Kanäle besser Kits statt einzelner Module nehmen: abgestimmte Module halten 3200 MT/s stabil.

Welcher Speicher passt zu welchem Board

Modul	Passt zu	Wann sinnvoll
DDR4 UDIMM	Desktop-Boards (Ryzen, Core)	Am günstigsten, kein ECC, meist 4 Slots
DDR4 ECC RDIMM 2Rx4	Server und Workstations, auch WRX80	64 GB pro Modul, 512 GB in 8 Slots
DDR4 ECC LRDIMM 4Rx4	Boards mit LRDIMM-Unterstützung	128 GB pro Modul, 1 TB in 8 Slots
DDR5 RDIMM	Nur neuere Plattformen (Genoa, Sapphire Rapids)	Nicht für DDR4-Boards — die Kerbe ist anders

Vier oder acht? Eine Charge

Marken oder Produktionsdaten in einer Achtkanal-Maschine zu mischen ist der übliche Grund, warum ein Kit 3200 MT/s nicht hält und auf 2933 oder 2666 fällt. Unsere 64-GB-Module gibt es auch einzeln, aber ein 4er- oder 8er-Satz aus einer Charge ist für eine Workstation die sicherere Wahl — und das empfehlen wir für das WRX80-Board.