GPU-Workload-Leitfaden
Wie viel GPU-VRAM benötigen Sie tatsächlich?
Ein praktisches Speicherbudget für Inferenz, Feinabstimmung, Bildgenerierung und Video-Workloads – von 24 GB bis 192 GB.
Von AnchorGPU · Aktualisiert · 6 Min. LesezeitVRAM ist ein Budget, kein Modell-Label
GPU-Speicher wird von mehreren unabhängigen Kategorien beansprucht: Modellgewichte, Inferenz-KV-Cache, temporäre Aktivierungen, Framework-Arbeitsbereiche, Allokator-Cache und – während des Trainings – Gradienten und Optimiererzustand. Dass ein Modell in eine Konfiguration passt, beweist nicht, dass es mit längerem Kontext, größerem Batch, anderer Präzision oder mehr gleichzeitigen Anfragen passt.
Planen Sie ausgehend von der exakten Modellrevision und Laufzeitkonfiguration. Bezeichnungen wie 7B, 13B oder 70B beschreiben die Parameterskala, nicht den gesamten Betriebsspeicher, und sollten daher niemals universell einer GPU zugeordnet werden.
Schätzen Sie zuerst die Rohgewichte
Als ausdrücklich hypothetisches Beispiel: Angenommen, ein Modell hat genau 13 Milliarden Parameter und speichert jeden Parameter in einem 16-Bit-Format. Die reine Gewichtsspeicherung beträgt 13,000,000,000 × 2 Bytes = 26,000,000,000 Bytes, also etwa 24.2 GiB. Diese Zahl schließt jede andere Allokation aus und ist daher eine Untergrenze, keine GPU-Empfehlung.
Quantisierung kann die Gewichtsspeicherung reduzieren, aber reale Speicherbedarfe umfassen auch Skalen, Metadaten, Dequantisierungspuffer, duplizierte Tensoren und Laufzeit-Arbeitsbereiche. Verwenden Sie das Format, das der tatsächliche Loader erzeugt, statt die Parameteranzahl durch eine nominale Bitbreite zu teilen und das Ergebnis als endgültig zu behandeln.
Inferenz fügt KV-Cache und Arbeitsspeicher hinzu
Autoregressives Serving behält Key- und Value-Tensoren für aktive Sequenzen. Der KV-Cache-Bedarf hängt von der Modellarchitektur, der Cache-Präzision, gleichzeitigen Sequenzen und der Anzahl aktiver Tokens über diese Sequenzen ab. Eine Erhöhung des maximalen Kontexts oder der Parallelität kann den Speicher erschöpfen, selbst wenn die Gewichte erfolgreich geladen werden.
Temporäre Aktivierungen, Aufmerksamkeits-Workspaces, kompilierte Kernel, Kommunikationspuffer und der Framework-Allokator verbrauchen zusätzlichen Speicher. vLLM meldet seine verfügbare GPU-KV-Cache-Kapazität und eine geschätzte Parallelität für die konfigurierte Sequenzlänge; behandeln Sie diese Startwerte als Planungsbeleg und wiederholen Sie dann repräsentative Prompts, bevor Sie einen Produktions-Workload festlegen.
Training hat eine andere Speicherstruktur
Feinabstimmung fügt Gradienten, Optimiererzustand, gespeicherte Aktivierungen und manchmal zusätzliche Kopien in voller Genauigkeit hinzu. Ihre genaue Größe hängt vom Optimierer, der Genauigkeitsrichtlinie, dem trainierbaren Parametersatz und der Sharding-Strategie ab, daher ist ein einzelner Inferenz-Multiplikator irreführend.
DistributedDataParallel repliziert den Trainingszustand, den jeder Worker benötigt; es macht aus mehreren GPUs keinen zusammenhängenden Speicherpool. Fully Sharded Data Parallel kann Parameter, Gradienten und Optimiererzustände auf die Worker verteilen, während Activation Checkpointing den Speicher für gespeicherte Aktivierungen reduziert, indem ausgewählte Arbeitsschritte beim Rückwärtsdurchlauf neu berechnet werden. Beide Techniken tauschen Einfachheit oder Rechenleistung gegen Speicher.
Messen Sie die Konfiguration, die Sie ausführen werden
Testen Sie das Laden des Modells und eine vollständige repräsentative Inferenzanfrage oder einen Trainingsschritt, einschließlich Optimierer-Update, mit exaktem Framework, Präzision, Kontext, Batch- und Parallelitätseinstellungen. Erfassen Sie den Spitzenwert des zugewiesenen und reservierten Speichers und wiederholen Sie dies mit realistischer Parallelität oder Gradientenakkumulation. Lassen Sie Betriebsreserven, statt das letzte verfügbare Byte anzustreben.
Wählen Sie eine GPU mit größerem Speicher, wenn der gemessene Spitzenwert nicht sicher reduziert werden kann. Fügen Sie GPUs nur hinzu, wenn die Software das Modell oder die Workload explizit aufteilt und die bereitgestellte Verbindungstechnik bekannt ist. Wiederholen Sie die Messung nach jeder Änderung an Modell, Laufzeit, Quantisierung, Kontext oder Batch.
Quellen & redaktionelle Methode
Die offizielle Dokumentation stützt die technischen Erläuterungen. Hardware-Empfehlungen sind unsere workloadabhängige Interpretation, keine gemessene Leistungsgarantie.
vLLM — Parallelität und Skalierung ↗PyTorch — FullyShardedDataParallel ↗PyTorch – Activation Checkpointing ↗