SXM vs PCIe GPU – Mi a különbség? – harmadik rész

Az előző részben tanácsokat, segítséget adtunk a megfelelő GPU kiválasztásához, most pedig mélyebbre ásunk:
Amikor AI szerverről vagy mesterséges intelligencia projektekhez alkalmas hardverről beszélünk, az egyik legfontosabb döntés a megfelelő GPU kiválasztása. Vegyünk példának egy NVIDIA terméket. Például a H100 GPU esetében két fő forma létezik: a PCIe és az SXM változat. De mi is pontosan a különbség közöttük, és melyiket válasszuk? A válasz megértéséhez érdemes mélyebben beleásni a technikai specifikációkba.

PCIe GPU: A hagyományos megoldás részletesen

A PCIe GPU-k a legelterjedtebb grafikus kártyák a szerverekben. A PCIe (Peripheral Component Interconnect Express) egy standard csatlakozó, amely szinte minden szerver alaplapján megtalálható. Az NVIDIA H100 PCIe változata 350W teljesítményfelvétellel és 2 TB/s memória sávszélességgel rendelkezik.

Ahhoz, hogy megértsük a PCIe technológia működését, fontos tudni, hogy ez egy soros adatátviteli szabvány, amely lane-eket (sávokat) használ az adatátvitelhez. Egy tipikus GPU x16 PCIe slotot igényel, ami 16 párhuzamos sávot jelent. A legújabb PCIe 5.0 generáció sávonként 4 GB/s adatátviteli sebességet biztosít, így összesen 128 GB/s sávszélességet érhetünk el.

Az H100 PCIe változat 114 Streaming Multiprocessort (SM) tartalmaz, összesen 14,592 CUDA Core-ral. A memória technológia HBM2e típusú, amely 5 memória stackből áll, és 5120 bites memória interfészt alkalmaz. Ez a konfiguráció kiváló egyensúlyt teremt a teljesítmény és az energia hatékonyság között.

A PCIe GPU előnyei között szerepel a könnyű telepíthetőség és a meglévő szerver infrastruktúra használhatósága. Ez különösen vonzó lehet azok számára, akik nem szeretnének teljesen új szervereket vásárolni az AI projektjeikhez.

SXM GPU: A nagy teljesítményű alternatíva mélyebben

Az SXM (Server PCI Express Module) technológia az NVIDIA egyedi fejlesztése, amely közvetlenül az alaplapra szerelhető modulokat jelent. Az SXM5 formájú H100 GPU akár 700W áramfelvétel mellett 3,35 TB/s memória sávszélességet kínál.

A technológia lényege abban rejlik, hogy míg a hagyományos PCIe kártyák egy slot-ba vannak bedugva, az SXM modulok közvetlenül a speciálisan tervezett alaplapra vannak szerelve. Ez sokkal szorosabb integrációt tesz lehetővé a rendszer többi részével.

Az SXM GPU-k legnagyobb előnye az NVLink technológiában rejlik, amely 900 GB/s sávszélességű, közvetlen GPU-GPU kommunikációt tesz lehetővé. Ez azt jelenti, hogy amíg a PCIe-n keresztül a CPU-val való kommunikáció korlátozza az adatátviteli sebességet, addig az NVLink lehetővé teszi, hogy a GPU-k közvetlenül kapcsolódjanak egymáshoz, gyakorlatilag megkerülve a CPU szűk keresztmetszetét.

Az NVIDIA H100 SXM5 változat 132 Streaming Multiprocessort tartalmaz (szemben a PCIe 114-ével), összesen 16,896 CUDA Core-ral. A memória technológia itt már a legújabb HBM3, amely gyorsabb és nagyobb sávszélességű, mint a PCIe változat HBM2e memóriája. Ez különösen nagy nyelvi modellek képzésénél és HPC alkalmazásoknál nyújt jelentős előnyöket.

A hűtési lehetőségekis eltérőek: míg a PCIe változat hagyományos légfúvásos hűtéssel is működtethető, az SXM GPU-knál folyadékhűtéses opció is elérhető az akár a 700W-os áramfelvétel kezeléséhez.

Benchmark eredmények: A számok beszélnek – de mit is jelentenek?

A teljesítmény összehasonlítása során az SXM változat egyértelműen győztes, de érdemes megértenünk, mit is jelentenek ezek a számok a gyakorlatban. Az MLPerf tesztekben az NVIDIA H100 SXM GPU 2,6-szoros gyorsulást ért el a nagy nyelvi modellek inferenciájában, míg képgenerálás terén 1,6-szoros teljesítménynövekedést mutatott a PCIe változathoz képest.

Hogy ezt kontextusba helyezzük: a 2,6-szoros gyorsulás azt jelenti, hogy egy olyan feladat, amely a PCIe GPU-n 26 percig tart, az SXM változaton mindössze 10 perc alatt elkészül. Ez hatalmas különbség egy vállalati környezetben, ahol időben kritikus AI alkalmazásokat futtatunk.

A Tensor Core teljesítményben is jelentős különbségek mutatkoznak. A Tensor Core-ok speciális számítási egységek, amelyek kifejezetten AI és gépi tanulási feladatokra vannak optimalizálva. Az SXM változat FP8 Tensor Core teljesítménye elérheti a 4000 TFLOPS-ot sparsity mellett, míg a PCIe változat 3200 TFLOPS-nál tetőzik. A „sparsity” itt azt jelenti, hogy a mátrix műveletek során sok zéró értékkel dolgozunk, amit a hardver ki tud használni a gyorsításhoz.

Multi-GPU scaling: Itt ragyog igazán az SXM technológia

Az egyik legnagyobb különbség a két technológia között akkor válik nyilvánvalóvá, amikor több GPU-t szeretnénk együtt használni. Ez a „scaling” fogalma – vagyis hogyan növekszik a teljesítmény, ha több GPU-t adunk a rendszerhez.

A PCIe GPU-k esetében minden kommunikációnak a CPU-n és az alaplapon keresztül kell végbemennie. Képzeljük el ezt úgy, mintha négy ember próbálna egyszerre beszélgetni, de mindegyiküknek egy közös tolmács segítségével kellene kommunikálnia. Ez szűk keresztmetszetet okoz.

Az SXM GPU-k esetében az NVLink technológia lehetővé teszi, hogy a GPU-k közvetlenül adatokat cserélhessenek egymással. Folytatva a hasonlatot, itt a négy ember közvetlenül tud egymással beszélgetni tolmács nélkül. Akár 8 GPU-t is össze lehet kötni egy NVSwitch segítségével, amely gyakorlatilag egy hatalmas, egyetlen GPU-ként működő rendszert hoz létre.

Mikor válasszuk a PCIe GPU-t? – Gyakorlati szempontok

A PCIe GPU ideális választás kisebb AI projektekhez, ahol nincs szükség extrém nagy teljesítményre. Kifejezetten jól használható ajánlórendszerekhez, képfelismerési alkalmazásokhoz és olyan esetekben, ahol egyszeres GPU teljesítmény elegendő.

Fontos megérteni, hogy a „kisebb AI projekt” nem feltétlenül jelent kevésbé fontos alkalmazást. Egy e-kereskedelmi oldal ajánlórendszere vagy egy kórház diagnosztikai képelemző szoftverje egyaránt kritikus fontosságú lehet, de mégsem igényel olyan extrém számítási kapacitást, mint egy GPT-méretű modell betanítása.

A költséghatékonyság szempontjából is vonzó lehet a PCIe változat, különösen akkor, ha már rendelkezünk megfelelő szerver infrastruktúrával. Egy tipikus rack szerver 4-8 PCIe GPU-t képes befogadni, ami sok alkalmazáshoz bőven elegendő kapacitást biztosít.

Mikor válasszuk az SXM GPU-t? – A legmagasabb teljesítmény világa

Az SXM GPU a legigényesebb AI és HPC feladatokra született. Nagy nyelvi modellek képzése, komplex tudományos szimulációk és olyan alkalmazások, ahol több GPU együttműködésére van szükség, itt találják meg ideális hardverüket.

Egy konkrét példával illusztrálva: amikor a ChatGPT-hez hasonló modelleket tanítanak be, gyakran több ezer GPU-t használnak párhuzamosan. Itt az SXM technológia NVLink kapcsolatai nélkülözhetetlenek, mert lehetővé teszik az adatok gyors megosztását a GPU-k között anélkül, hogy a CPU szűk keresztmetszetén kellene átmennie minden információnak.

A gyógyszerkutatás, anyagtudomány és olyan területek, ahol hatalmas adathalmazok feldolgozására van szükség, különösen profitálhatnak az SXM technológiából. Egy új gyógyszer fejlesztése során például milliókat, de akár milliárd molekulát is szimulálni kell, ami hónapokig tarthat PCIe GPU-kon, de hetekre csökkenthető megfelelő SXM konfigurációval.

Összegzés: A döntés kritériumai

A választás az SXM GPU vs PCIe GPU között alapvetően a teljesítményigényeken és a rendelkezésre álló költségvetésen múlik. Ahhoz azonban, hogy megalapozott döntést hozhassunk, érdemes egy egyszerű döntési módszert követni.

Első lépés: határozzuk meg, hogy szükségünk van-e több GPU együttes használatára. Ha igen, és ezek a GPU-k intenzív adatcserét igényelnek egymással, akkor az SXM technológia NVLink kapcsolatai jelentős előnyt nyújtanak. Ha azonban egy vagy maximum néhány GPU elegendő, és azok viszonylag függetlenül dolgoznak, akkor a PCIe változat is kiváló választás lehet.

Második lépés: vizsgáljuk meg a teljesítményigényeket. Nagy nyelvi modellek betanításához, komplex szimulációkhoz és valós idejű, nagy sávszélességű alkalmazásokhoz az SXM GPU 67%-kal nagyobb memória sávszélessége és 25%-kal több CUDA Core-ja jelentős különbséget tud tenni.

Harmadik lépés: az infrastruktúra és költségek mérlegelése. Az SXM technológia speciális alaplapokat és gyakran folyadékhűtést igényel, míg a PCIe GPU-k meglévő szerverinfrastruktúrába is beilleszthetők.

Míg a PCIe változat kiváló ár-érték arányú megoldást kínál mainstream AI alkalmazásokhoz, addig az SXM GPU a legmagasabb teljesítményt igénylő feladatokhoz nyújt páratlan lehetőségeket. A jövő AI szervereit tekintve mindkét formának megvan a maga helye, de az igazán áttörő AI innovációkhoz az SXM technológia nyújt jelenleg a legjobb alapokat, különösen akkor, ha figyelembe vesszük, hogy az AI modellek komplexitása exponenciálisan növekszik.