Elon Musk plánuje výpočtový výkon pre AI rovnajúci sa 50 miliónom GPU H100 v priebehu iba piatich rokov. Cieľ xAI v oblasti trénovania sa rovná 50 ExaFLOPS, ale to neznamená doslova 50 miliónov GPU. Dosiahnutie 50 ExaFLOPS s H100 by si vyžadovalo energiu rovnajúcu sa 35 jadrovým elektrárňam.
Elon Musk sa podelil o nový odvážny míľnik pre xAI, ktorým je nasadenie ekvivalentu 50 miliónov GPU triedy H100 do roku 2030.
Tento cieľ, formulovaný ako miera výkonu trénovania AI, sa vzťahuje na výpočtovú kapacitu, nie na doslovný počet jednotiek.
Napriek neustálym pokrokom v hardvéri akcelerátorov AI tento cieľ implikuje mimoriadne záväzky v oblasti infraštruktúry, najmä v oblasti energie a kapitálu.
Obrovský skok v škále výpočtového výkonu s menším počtom GPU, ako sa zdá.
V príspevku na X Musk uviedol, že „cieľom xAI je 50 miliónov jednotiek výpočtového výkonu AI ekvivalentného H100 (ale s oveľa lepšou energetickou účinnosťou) online do 5 rokov.“
Každá GPU Nvidia H100 AI dokáže poskytnúť približne 1 000 TFLOPS vo formáte FP16 alebo BF16, čo sú bežné formáty pre trénovanie AI – a dosiahnutie 50 ExaFLOPS pomocou tohto základu by teoreticky vyžadovalo 50 miliónov H100.
Hoci novšie architektúry, ako sú Blackwell a Rubin, dramaticky zlepšujú výkon na čip.
Podľa výkonnostných odhadov by mohlo byť potrebných iba približne 650 000 GPU využívajúcich budúcu architektúru Feynman Ultra na dosiahnutie cieľa.
Spoločnosť už začala agresívne škálovať a jej súčasný klaster Colossus 1 je poháňaný 200 000 GPU H100 a H200 založenými na architektúre Hopper, plus 30 000 čipmi GB200 založenými na architektúre Blackwell.
Nový klaster, Colossus 2, má byť čoskoro spustený s viac ako 1 miliónom GPU jednotiek, kombinujúcich 550 000 uzlov GB200 a GB300.
Týmto sa xAI zaraďuje medzi najrýchlejších používateľov špičkových technológií AI pre písanie a trénovanie modelov.
Spoločnosť si pravdepodobne vybrala H100 namiesto novšieho H200, pretože prvý zostáva dobre zavedeným referenčným bodom v komunite AI, je široko testovaný a používaný vo veľkých nasadeniach.
Jeho konzistentná priepustnosť FP16 a BF16 z neho robí jasnú mernú jednotku pre dlhodobé plánovanie.
Ale azda najnaliehavejším problémom je energia. Klaster AI s výkonom 50 ExaFLOPS poháňaný GPU H100 by si vyžadoval 35 GW, čo je dostatok pre 35 jadrových elektrární.
Dokonca aj pri použití najefektívnejších projektovaných GPU, ako je Feynman Ultra, by klaster s výkonom 50 ExaFLOPS mohol vyžadovať až 4,685 GW energie.
To je viac ako trojnásobok spotreby energie pripravovaného Colossus 2 od xAI. Aj napriek pokrokom v účinnosti zostáva škálovanie dodávok energie kľúčovou neistotou.
Okrem toho bude problémom aj cena. Na základe súčasných cien stojí jedna Nvidia H100 viac ako 25 000 dolárov.
Použitie 650 000 GPU novej generácie by stále mohlo predstavovať desiatky miliárd dolárov len za samotný hardvér, nepočítajúc prepojenie, chladenie, zariadenia a energetickú infraštruktúru.
V konečnom dôsledku je Muskov plán pre xAI technicky uskutočniteľný, ale finančne a logisticky náročný.
