GPU-Workload-Leitfaden
Auswahl einer GPU für LLM-Inferenz in der Produktion
Wie Modellgröße, Quantisierung, Kontext, Batching und Latenzziele die beste GPU verändern — und die tatsächlichen Kosten pro Anfrage.
Von AnchorGPU · Aktualisiert · 7 Min. LesezeitLegen Sie den Serving-Vertrag fest
Trennen Sie interaktives Serving von Offline-Batch-Arbeit. Definieren Sie maximale Prompt-Länge, typische und maximale Ausgabelänge, Zielparallelität, Zeit bis zum ersten Token, Latenz zwischen Tokens und Fehlertoleranz. Eine einzelne kurze Anfrage ist kein Kapazitätstest.
Halten Sie Modell- und Tokenizer-Revisionen, Quantisierungsformat, Chat-Vorlage und Dekodierungseinstellungen beim Hardwarevergleich unverändert. Andernfalls kann ein schnelleres Ergebnis aus einer anderen Arbeitslast oder einem Qualitätskompromiss stammen statt von der GPU.
Budgetieren Sie mehr als die Modellgewichte
Inferenz benötigt Modellgewichte, Laufzeitpuffer, Aktivierungen und in der Regel einen KV-Cache für aktive Sequenzen. Mehr gleichzeitige Sequenzen und längere Kontexte verändern den benötigten Speicher. Die Quantisierungsunterstützung und ihre Auswirkung auf die Ausgabequalität müssen auf der gewählten Laufzeit validiert werden.
Eine 24-GB- oder 48-GB-Karte ist ein Kandidat für ein Modell, das hineinpasst, keine Zusage, dass jedes Modell einer Parameterklasse läuft. Testen Sie das tatsächliche Modell und das Kontextlimit. Beschleuniger mit größerem Speicher sind nützlich, wenn sie die Partitionierung verringern oder messbaren Parallelitätsspielraum bieten.
Replikate oder ein verteiltes Modell?
Wenn das Modell auf eine GPU passt, können unabhängige Replikate ein einfacher Weg sein, um mehr Anfragen zu bedienen. Tensor-Parallelität verteilt Teile des Modells und führt Kommunikation zwischen Beschleunigern ein. Pipeline-Parallelität hat andere Kompromisse bei Platzierung und Auslastung.
Prüfen Sie die aktuelle vLLM-Anleitung und die gelieferte Maschinentopologie, bevor Sie eine Kartenanzahl wählen. Gehen Sie nicht davon aus, dass SXM, PCIe, vier Karten oder eine aggregierte VRAM-Zahl ein bestimmtes verbundenes Fabric impliziert.
Qualifizieren Sie den Software-Stack, bevor Sie Zeitmessungen durchführen
Bestätigen Sie Treiber, CUDA- oder ROCm-Build, GPU-Architekturunterstützung und Verfügbarkeit der Operatoren, die Ihr Modell benötigt. Container-Tags sollten fixiert sein, und eine frische Umgebung sollte dasselbe Serving-Ergebnis reproduzieren.
Binden Sie einen ersten Test an Loopback, verwenden Sie einen API-Schlüssel und stellen Sie keinen nicht authentifizierten Modell-Endpunkt bereit. Fernzugriff, TLS, Ingress-Steuerung und Dienstüberwachung erfordern eine explizite Bereitstellungskonfiguration; sie werden nicht durch die Auswahl eines Katalog-Images erstellt.
Realistischen Datenverkehr messen
Wärmen Sie den Server auf und trennen Sie die Modellladezeit von den Ergebnissen im eingeschwungenen Zustand. Wiederholen Sie eine repräsentative Mischung aus Prompt-Längen, Ausgabelängen und gleichzeitigen Anfragen. Berichten Sie akzeptierten Anfragedurchsatz, p95-Latenz, Fehler und Speichernutzung gemeinsam.
Erhöhen Sie den Datenverkehr, bis das Latenz- oder Zuverlässigkeitsziel nicht mehr erreicht wird, und lassen Sie dann Kapazitätsspielraum. Halten Sie Kaltstart- und Wiederherstellungstests getrennt: Zur Betriebsbereitschaft gehört die Wiederherstellung des Dienstes nach einem Prozess- oder Knotenausfall.
Vergleichen Sie die Kosten nützlicher Ausgabe
Teilen Sie für ein gemessenes Intervall die vollständigen, diesem Intervall zurechenbaren Zuweisungskosten durch den erfolgreich gelieferten Output. Wenn Sie Kosten pro Million Tokens angeben, geben Sie an, ob Eingabe- und Ausgabe-Tokens enthalten sind, und verwenden Sie für jeden Kandidaten dieselbe Konvention.
Eine feste Miete über 7 oder 30 Tage wird für die gesamte Laufzeit bezahlt, einschließlich Leerlaufzeit. Planen Sie die Auslastung explizit und berücksichtigen Sie Optionen, bevor Sie Konfigurationen vergleichen. AnchorGPU-Katalogpreise sind modellierte Eingaben; hier werden keine Live-Serving-Benchmarks oder Produktionsverfügbarkeit behauptet.
Quellen & redaktionelle Methode
Die offizielle Dokumentation stützt die technischen Erläuterungen. Hardware-Empfehlungen sind unsere workloadabhängige Interpretation, keine gemessene Leistungsgarantie.
vLLM – Schnellstart und Bereitstellung ↗vLLM – verteiltes Serving und Parallelität ↗vLLM — GPU-Installationsanforderungen ↗