導讀:該超級計算機用于訓練為特斯拉Autopilot和即將問世的自動駕駛AI,提供動力的神經(jīng)網(wǎng)絡。
據(jù)媒體報道,近日,特斯拉推出了新的超級計算機,據(jù)稱是全球第五大超級計算機,也是特斯拉即將推出的新超級計算機Dojo的“先行版本”。
該超級計算機用于訓練為特斯拉Autopilot和即將問世的自動駕駛AI,提供動力的神經(jīng)網(wǎng)絡。
在過去幾年中,特斯拉一直將重點放在汽車內(nèi)外部的計算能力上。在內(nèi)部,運行自動駕駛軟件需要足夠強大的計算機能力,在外部,需要超級計算機訓練由神經(jīng)網(wǎng)絡支持的自動駕駛軟件,這些神經(jīng)網(wǎng)絡會接收來自車隊的大量數(shù)據(jù)。
特斯拉的Dojo項目由計算速度達每秒百萬萬億次(exaFLOP)的超級計算機組成,使其成為全球最強大的計算機之一。
此前,特斯拉一直在研究Dojo,特斯拉首席執(zhí)行官埃隆·馬斯克(Elon Musk)曾暗示Dojo應于今年年底準備好。
日前,在2021年計算機視覺與模式識別大會上,特斯拉AI主管Andrej Karpath介紹了該公司的最新超級計算機。
Karpathy展示了特斯拉的第三個超級計算機集群,特斯拉聲稱該新集群具有一些相當瘋狂的參數(shù),應該會使其成為全球第五的計算機:
720個80GB 8x A100 節(jié)點(共5760 個GPU);
1.8 EFLOPS(720節(jié)點* 312 TFLOPS-FP16-A100 * 8 gpu/節(jié)點);
10 PB“熱層”NVME存儲@ 1.6 TBps;
總交換容量為640 Tbps。
Karpathy表示,“我們有一個神經(jīng)網(wǎng)絡架構(gòu)網(wǎng)絡和一個1.5 pb的數(shù)據(jù)集,需要大量的計算。
對我們而言,計算機視覺是使自動駕駛成為可能的基本要素。為了讓其更好地工作,我們需要掌握來自車隊的數(shù)據(jù),訓練大量的神經(jīng)網(wǎng)絡,并進行大量實驗,因此,我們在計算上投入了很多。
在本例中,我們展示的是使用720個80GB版本的8x A100節(jié)點構(gòu)建的集群。
這是一臺巨大的超級計算機,就每秒浮點運算次數(shù)而言,我認為它可能是全球第五的超級計算機?!?/p>
Karpathy不愿詳細介紹Dojo項目,但他表示,與特斯拉目前的集群相比,Dojo將是一臺更適合神經(jīng)網(wǎng)絡訓練的超級計算機。
馬斯克此前還表示,特斯拉計劃最終將其超級計算機提供給其他公司,以便這些公司訓練自己的神經(jīng)網(wǎng)絡。