İkinci kartı takmak işi iki katına çıkarmaz. Kartlar birbirini görmezse eğitim turu tek karta iner. Sürücü biri kayıpsa izleme yeşil görünür, iş yarı yarıya düşer. Kolektif kütüphane topolojiyi yanlış okursa kartlar boşta bekler.
Tanım ayrı yazıdadır. GPU sunucu nedir yazısına bakın. Bu yazı GPU sunucu ürün sayfasını destekler. Kiralama listesinin yerine geçmez. Makine ağı ve depo ayrı yazıdadır. Ağ ve depolama kontrol listesi yazısına bakın. Burada kasadaki kartlar arası yol ve yazılım yığını yazılır.
Hızlı Özet
PCIe paylaşılan genişleme yoludur. Kartlar işlemci ve yuva üzerinden konuşur. NVLink ayrı bir köprüdür. Her kasa ve her kart çifti bunu taşımaz. Oyun sitesindeki SLI tablosu kurumsal kararı kapatmaz.
Sürücü, CUDA yığını ve kolektif kütüphane kart sayısından önce yazılır. CUDA nedir yazısı tek yığın içindir. Bu yazı o yığının birden fazla kartta nasıl kırıldığını anlatır. Leon-X altyapı sahibi değildir. Keşifte kartlar gerçekten tek iş mi, yoksa aynı kutuda ayrı işler mi, bu soru yazılır.
İçindekiler
- İki Kart Tek İş Değildir
- PCIe Ne Taşır
- NVLink Ne Zaman Konuşulur
- Yazılım Yığını Nerede Kırılır
- Yaygın Hatalar
- Kontrol Listesi
- Leon-X ile Sonraki Adım
- Sık Sorulan Sorular
- Sonuç
- Kaynaklar
Kaynak Pexels, anakart yakın çekimi.
İki Kart Tek İş Değildir
Aynı kasaya iki hızlandırıcı koymak otomatik olarak tek iş üretmez. Uygulama kartları paylaşacak şekilde yazılmamışsa her kart kendi işini koşturur. Paylaşım veri paralelliği veya model paralelliği olabilir. Hangisi olduğu yazılmazsa sipariş listesi yanlış çıkar.
Eğitim çoğu zaman kartlar arasında ara değer veya model parçası alışverişi ister. Çıkarım bazen tek kartta kalır, bazen oturumları kartlara böler. Bu ayrım eğitim ve çıkarım GPU seçimi yazısındadır. Çoklu kart kararı o listenin üzerine biner. Kart adı o listenin yerine geçmez.
PCIe Ne Taşır
PCIe, anakart üzerindeki genişleme yoludur. Kart, disk denetleyicisi ve ağ kartı aynı aileden yuvalara oturur. İki GPU yalnız PCIe üzerinden konuşuyorsa trafik işlemci ve yonga setinden geçer. Bu yol birçok çıkarım işinde yeter. Kartların sürekli birbirine büyük tampon vermesi gereken eğitimde daralır.
Yuva kuşağı, kasa içi kablo ve yükseltici kart görünmez darboğaz olur. Kart takılıdır, işletim sistemi görür, iş yine tek karta iner. Dışarıdan “yavaş GPU” görünür. İçeride yol paylaşılan genişleme yoludur.
Bulutta örnek tipi bu yolu gizler. Yerinde kasada yuva haritası sizin işinizdir. İkisinde de “kaç kart göründü” sorusu “iş onları tek yığın gibi kullanıyor mu” sorusunun yerine geçmez.
NVLink Ne Zaman Konuşulur
NVLink, NVIDIA’nın kartlar arası özel bağlantısıdır. PCIe yolunun yerine geçen bir köprüdür. Kasa, köprü ve kartın üçü de bunu taşımalıdır. Üçünden biri yoksa NVLink yazılmaz, PCIe kalır.
Oyun incelemesindeki SLI ile bu konuşma karışır. SLI ekran çıktısını birleştirme alışkanlığıdır. Kurumsal eğitim işi kartların birbirine veri vermesine bakar. Oyun sitesi başlıkları çekirdek ezberi üretir. Sunucu kararında asıl soru şudur. İş gerçekten kartlar arası özel yol istiyor mu? İstiyorsa kasa ve görüntü bunu taşıyor mu?
Köprü yerinde durmazsa izleme kartları ayrı ayrı gösterir. İş yine tek yola düşer. Kapasite ve model adı keşifte doğrulanır. Bu yazı model sıralaması değildir.
Yazılım Yığını Nerede Kırılır
Sürücü bütün kartları aynı sürümle görmelidir. Biri eski kalırsa iş açılmaz veya sessizce o kartı atlar. CUDA araç seti ile uygulamanın kuşağı birbirini tutmalıdır. Tutmazsa ikinci kart “var” görünür, çerçeve onu kullanmaz.
Kolektif iletişim kütüphanesi (NCCL) topolojiyi okur. PCIe sandığı yerde NVLink arar veya tam tersini yapar. Günlükte zaman aşımı çıkar, kart ısınmaz. Konteyner tek kart için kurulmuşsa kasa dolu olsa da iş bir yuvada kalır.
Kim sürücüyü günceller, kim NCCL sürümünü kilitler, kim kart izleme çıktısını iş kanıtı sayar, bunlar yazılmazsa sonraki yama yangın çıkarır. Masa kasası ile cloud GPU ayrımı başka yazıdadır. Cloud GPU ile yerel iş istasyonu yazısına bakın. Çoklu kartta aynı soru durur. Yığın kimin işidir?
Yaygın Hatalar
Kasa fotoğrafındaki kart sayısını iş kapasitesi sanmak şaşırtır. NVLink’i her çift kartta varsaymak köprü yokken eğitim turunu bozar. Oyun SLI tablosunu sunucu kararına yapıştırmak konuyu kaçırır. Sürücüyü bir kartta güncelleyip diğerini unutmak yığını böler. Tek kartlık konteyneri dolu kasaya koymak ikinci kartı boşta bırakır. Kart modelini yazıp NCCL ve görünürlük satırını sonraya bırakmak yanlış sipariş listesi üretir.
Kontrol Listesi
- İş gerçekten birden fazla kartı tek yığın gibi kullanacak mı yazıldı.
- Kartlar PCIe üzerinden mi, yoksa NVLink köprüsü mü, bu ayrım konuşuldu.
- Kasa, köprü ve kartın üçünün aynı iddiayı taşıyıp taşımadığı soruldu. Sayı ezberi karar dokümanına alınmadı.
- Sürücü bütün kartları aynı sürümle görüyor.
- CUDA yığını ve kolektif kütüphane sürümü kimin işi belli.
- Konteyner veya görüntü birden fazla kartı tanıyacak şekilde kuruldu.
- Ürün niyeti netleştiyse GPU sunucu değerlendirmesine geçildi. Kiralama listesi ilk adım yapılmadı.
Leon-X ile Sonraki Adım
Leon-X çoklu GPU işini PCIe, NVLink ve yazılım yığını üzerinden okur. Altyapı sahibi veya GPU üreticisi değildir. Keşif sonrası yol masa kasası, yerinde şasi, GPU sunucu veya hibrit olabilir. Başlamak için iletişime geçin.
Sık Sorulan Sorular
NVLink şart mı?
Kartlar birbirine büyük tampon vermiyorsa PCIe çoğu zaman yeter. Eğitim işi kartlar arası yol istiyorsa o zaman köprü konuşulur. Şart iddiası değildir.
İzlemede bütün kartlar görünüyorsa iş tamam mı?
Görünürlük sürücü katmanıdır. Uygulama ve kolektif kütüphane o kartları kullanmıyorsa iş tek yuvada kalır.
İkinci kartı takınca hız iki katına çıkar mı?
Çoğu zaman çıkmaz. Yol daralırsa veya yığın saparsa ikinci kart boşta bekler. Önce paylaşım modeli, sonra silikon.
Bu yazı CUDA yazısının tekrarı mı?
O yazının tekrarı değildir. O yazı sürücü, araç seti ve uygulamanın tek yığın olduğunu anlatır. Bu yazı o yığının birden fazla kartta nasıl kırıldığını anlatır.
Sonuç
Çoklu GPU işi kart sayısından önce paylaşım modelini, yuvayı ve yazılım yığınını ister. İkinci kart ancak uygulama onu kullanırsa işe yarar. Destek sayfası GPU sunucu ürün sayfasıdır.
