NVIDIA lucrează la Rubin Ultra, o platformă avansată de calcul pentru inteligența artificială care va integra 576 de GPU-uri într-un singur sistem, utilizând tehnologia NVLink și conexiuni optice CPO. Proiectul este planificat pentru lansare în anul 2027 și va putea gestiona modele AI cu un număr impresionant de până la 10 trilioane de parametri, oferind în același timp o eficiență energetică deosebită.
Integrarea a 576 de GPU-uri prin NVLink
În contrast cu sistemele existente care utilizează un număr mai restrâns de acceleratoare într-un singur rack, Rubin Ultra NVL576 va conecta 576 de GPU-uri răcite cu lichid. Aceste unități vor colabora prin intermediul NVLink 7, făcând ca întreaga infrastructură să funcționeze ca un singur sistem de calcul.
NVIDIA estimează o capacitate de 15 exaflopi FP4 pentru inferență și 5 exaflopi FP8 pentru antrenarea modelelor de inteligență artificială. Conform datelor furnizate, aceste valori ar reprezenta o creștere de aproximativ 14 ori comparativ cu sistemul Blackwell GB300 NVL72.
Fiecare modul de calcul din Rubin Ultra va conține câte două GPU-uri Rubin Ultra și un procesor Vera, toate având un sistem de răcire cu lichid. Aceste sisteme vor fi integrate în rack-uri Kyber, concepute special pentru a susține întreaga infrastructură.
Tehnologia CPO pentru eficiență sporită
Un aspect esențial al noii platforme este tehnologia CPO (Co-Packaged Optics), care integrează componente optice aproape de circuitele de comutare. Aceasta permite transmiterea rapidă a datelor prin conexiuni optice, contribuind astfel la îmbunătățirea eficienței energetice și a comunicării între acceleratoare.
Rubin Ultra va utiliza o nouă generație de comutatoare NVLink CPO, iar NVIDIA își propune să folosească această tehnologie pentru a conecta toate cele 576 de GPU-uri, precum și pentru a gestiona volumul mare de date necesar pentru modelele AI extrem de complexe.
Compania a anunțat că soluțiile CPO pentru rack-uri sunt deja în producție de masă, după ce au existat zvonuri despre posibile întârzieri. Rubin Ultra va fi primul sistem care va implementa tehnologia optică la nivelul întregului rack.
Memorie HBM4E și eficiență în instalare
Platforma va folosi memorie HBM4E, având o capacitate de până la 1 TB pentru fiecare GPU Rubin Ultra, conform specificațiilor oferite. La nivelul întregului rack, NVIDIA estimează o lățime de bandă agregată a memoriei de aproximativ 365 TB/s și o capacitate totală de transfer de 4,6 PB/s.
Designul va respecta standardele Open Compute Project (OCP), ceea ce ar trebui să faciliteze instalarea și înlocuirea modulelor. NVIDIA afirmă că acest sistem modular poate reduce semnificativ timpul necesar pentru montarea componentelor, de la ore la doar câteva minute.
Construirea unei astfel de infrastructuri va necesita investiții substanțiale, atât în acceleratoare, cât și în alimentare, răcire și rețelistică. Totuși, NVIDIA este de părere că Rubin Ultra va oferi suportul tehnic necesar pentru generația viitoare de modele AI, în special pentru cele care vor depăși 10 trilioane de parametri.
Sursa articol: https://www.go4it.ro/content/inteligenta-artificiala/nvidia-vrea-sa-antreneze-modele-ai-cu-10-trilioane-de-parametri-rubin-ultra-va-conecta-576-de-gpu-uri-intr-un-singur-sistem-19288481/
Sursa foto: Coolcaesar / Wikimedia Commons / CC BY-SA 4.0

