VRAM
Lokaler Speicher eines Beschleunigers. Die Workload-Kapazität umfasst mehr als nur Modellgewichte: Aktivierungen, Puffer, zwischengespeicherter Zustand und Framework-Zuweisungen können ihn ebenfalls beanspruchen.
KV-Cache
Schlüssel- und Wert-Tensoren, die beim autoregressiven Serving für laufende Sequenzen vorgehalten werden. Modellarchitektur, Cache-Präzision, Token-Anzahl und Parallelität beeinflussen die erforderliche Kapazität.
Quantisierung
Darstellung einiger Modellwerte mit reduzierter numerischer Präzision. Die tatsächliche Speichernutzung umfasst Format-Metadaten und Laufzeit-Arbeitsbereiche; unterstützte Kernel und Ausgabequalität müssen geprüft werden.
Tensor-Parallelität
Verteilung von Teilen der Tensoroperationen eines Modells auf mehrere Beschleuniger. Dies kann ein Modell auf mehrere Karten verteilen, erzeugt jedoch zusätzlichen Kommunikationsaufwand und erfordert eine explizit unterstützte Serving- oder Trainingsstrategie.
DistributedDataParallel (DDP)
Ein PyTorch-Trainingsansatz, der Modellreplikate über Prozesse hinweg ausführt und Gradienten synchronisiert. Die Replikation fasst Gerätespeicher nicht zu einem zusammenhängenden Pool zusammen.
Fully Sharded Data Parallel (FSDP)
Verteiltes Training, das Modellparameter, Gradienten und Optimiererzustand aufteilt. Speichereinsparungen gehen mit Kommunikations-, Koordinations- und Checkpoint-Anforderungen einher.
CUDA
Die Parallel-Computing-Plattform und das Programmiermodell von NVIDIA. Eine von CUDA abhängige Workload erfordert weiterhin kompatible Hardware, Treiber, Laufzeit und Bibliotheken.
ROCm
Der Software-Stack von AMD für GPU-Computing. Der Support muss für die genaue GPU, das Betriebssystem, den Framework-Build und die Workload-Abhängigkeiten geprüft werden.
Trainings-Checkpoint
Gespeicherter Zustand zum Fortsetzen oder Reproduzieren eines Trainings. Je nach Lauf umfasst dies Modell, Optimierer, Zeitplan, Zufallszustand und Fortschritt durch die Daten. Verifizieren Sie die Wiederherstellung, nicht nur das Schreiben.
Variational Autoencoder (VAE)
In einer Diffusions-Pipeline eine Komponente, die zwischen latenten Repräsentationen und sichtbaren Ausgaben abbildet. Die Dekodierung kann einen separaten Speicherspitzenwert vom Denoising haben; unterstütztes Chunking oder Tiling erfordert Qualitätsprüfungen.
Feste Mietdauer
In diesem Katalog entspricht eine Woche genau 7 Tagen und ein Monat genau 30 Tagen. Das Stoppen einer modellierten Zuweisung pausiert den bezahlten Zeitraum nicht. GPU-Preise und ausgewählte Optionen bilden das vollständige Angebot.
Idempotenzschlüssel
Eine Kennung, die es einem unterstützten Vorgang ermöglicht, eine wiederholte Anfrage zu erkennen, damit dieselbe Aktion nicht zweimal angewendet wird. Verwenden Sie sie für einen erneuten Versuch desselben Vorgangs, nicht für einen anderen Kauf oder eine andere Konfiguration.
Definitionen erläutern das Konzept; sie garantieren nicht, dass eine bestimmte Workload, Bibliotheksversion oder Topologie von einer AnchorGPU-Zuweisung unterstützt wird.