VRAM
Bir hızlandırıcıya yerel bellek. İş yükü kapasitesi yalnızca model ağırlıklarından fazlasını içerir: etkinleştirmeler, arabellekler, önbelleğe alınmış durum ve çerçeve ayırmaları da bunu tüketebilir.
KV önbelleği
Otoregresif sunum tarafından canlı diziler için tutulan anahtar ve değer tensörleri. Model mimarisi, önbellek hassasiyeti, belirteç sayısı ve eşzamanlılık gerekli kapasiteyi etkiler.
Niceleme
Bazı model değerlerinin azaltılmış sayısal hassasiyetle temsil edilmesi. Gerçek bellek kullanımı biçim meta verilerini ve çalışma zamanı çalışma alanlarını içerir; desteklenen çekirdekler ve çıktı kalitesi kontrol edilmelidir.
Tensör paralelliği
Model tensör işlemlerinin parçalarını hızlandırıcılar arasında dağıtma. Bir modeli kartlara yayabilir ancak iletişim getirir ve açıkça desteklenen bir sunum veya eğitim stratejisi gerektirir.
DistributedDataParallel (DDP)
Model kopyalarını süreçler arasında çalıştıran ve gradyanları eşitleyen bir PyTorch eğitim yaklaşımı. Çoğaltma, cihaz belleklerini tek bir bitişik havuzda birleştirmez.
Tamamen Parçalanmış Veri Paralelliği (FSDP)
Model parametrelerini, gradyanları ve optimize edici durumunu parçalayan dağıtılmış eğitim. Bellek tasarrufu; iletişim, koordinasyon ve kontrol noktası gereksinimleriyle birlikte gelir.
CUDA
NVIDIA'nın paralel hesaplama platformu ve programlama modeli. CUDA'ya bağımlı bir iş yükü yine de uyumlu donanım, sürücü, çalışma zamanı ve kitaplıklar gerektirir.
ROCm
AMD'nin GPU hesaplama için yazılım yığını. Destek; tam GPU, işletim sistemi, çerçeve derlemesi ve iş yükü bağımlılıkları için kontrol edilmelidir.
Eğitim kontrol noktası
Eğitimi sürdürmek veya yeniden üretmek için kullanılan kaydedilmiş durum. Çalışmaya bağlı olarak model, optimize edici, zamanlama, rastgele durum ve verilerdeki ilerlemeyi içerir. Yalnızca yazmayı değil, geri yüklemeyi de doğrulayın.
Değişimsel otokodlayıcı (VAE)
Bir difüzyon hattında, gizli temsiller ile görüntülenebilir çıktılar arasında eşleme yapan bir bileşen. Kod çözme, gürültü gidermeden ayrı bir bellek zirvesine sahip olabilir; desteklenen parçalama veya döşeme kalite kontrolleri gerektirir.
Sabit kiralama süresi
Bu katalogda bir hafta tam olarak 7 gün, bir ay ise tam olarak 30 gündür. Modellenen bir tahsisi durdurmak ödenen dönemi duraklatmaz. GPU fiyatları ve seçilen seçenekler eksiksiz teklifi oluşturur.
Idempotency anahtarı
Desteklenen bir işlemin yinelenen bir isteği tanımasını sağlayan ve böylece aynı eylemin iki kez uygulanmamasını sağlayan bir tanımlayıcı. Aynı işlemin yeniden denenmesi için yeniden kullanın; farklı bir satın alma veya yapılandırma için değil.
Tanımlar kavramı açıklar; belirli bir iş yükünün, kitaplık sürümünün veya topolojinin bir AnchorGPU tahsisi tarafından desteklendiğini garanti etmez.