阿布扎比科技控股集團(tuán)G42近日宣布推出全球最快的超級(jí)計(jì)算機(jī)Condor Galaxy-1(CG-1)，該計(jì)算機(jī)擁有5400萬(wàn)個(gè)核心，處理能力達(dá)到4 exaFLOPS（IT之家注：每秒4百億億次），可用于訓(xùn)練最先進(jìn)的人工智能模型。該計(jì)算機(jī)位于美國(guó)加州圣克拉拉，由美國(guó)人工智能公司Cerebras運(yùn)營(yíng)。
隨著人工智能技術(shù)的發(fā)展，超級(jí)計(jì)算機(jī)的需求日益增長(zhǎng)，許多企業(yè)需要借助超級(jí)計(jì)算機(jī)來(lái)訓(xùn)練自己的模型，一些公司如微軟建設(shè)了昂貴的基礎(chǔ)設(shè)施并將其出租給企業(yè)使用的服務(wù)。
總部位于阿布扎比的G42是一個(gè)科技領(lǐng)域的控股集團(tuán)，旨在為未來(lái)世界創(chuàng)建基礎(chǔ)設(shè)施，與各國(guó)和企業(yè)合作，實(shí)現(xiàn)其愿景。該公司正在建設(shè)Condor Galaxy系列超級(jí)計(jì)算機(jī)系統(tǒng)，以幫助解決當(dāng)今人類面臨的最大問(wèn)題。
許多科技公司已經(jīng)宣布建立由數(shù)千個(gè)圖形處理單元（GPU）組成的巨大集群，這是人工智能模型的大腦。但Cerebras公司的首席執(zhí)行官Andrew Feldman表示，“在數(shù)千個(gè)微型GPU上分發(fā)單一模型需要數(shù)十名具有稀有專業(yè)知識(shí)的人員花費(fèi)數(shù)月時(shí)間。”
Feldman和他在Cerebras的團(tuán)隊(duì)沒(méi)有使用中央超級(jí)計(jì)算機(jī)，而是構(gòu)建了一組互連的AI超級(jí)計(jì)算機(jī)，可以大大減少AI模型的訓(xùn)練時(shí)間。根據(jù)Cerebras的方法，建立生成式人工智能模型只需要幾分鐘時(shí)間，并且可以由一個(gè)人完成。
Condor Galaxy系統(tǒng)的綜合處理能力將達(dá)到36 exaFLOPS，這在當(dāng)今的計(jì)算世界中是空前的。
每臺(tái)超級(jí)計(jì)算機(jī)都是Condor Galaxy系列超級(jí)計(jì)算機(jī)的核心，其中第一臺(tái)已經(jīng)于近日揭幕。Cerebras公司組裝了64個(gè)其旗艦產(chǎn)品CS-2人工智能處理器，組成了CG-1超級(jí)計(jì)算機(jī)。
AMD公司的EPYC處理器核心為該系統(tǒng)提供動(dòng)力，并擁有5400萬(wàn)個(gè)專為人工智能優(yōu)化的計(jì)算核心，總體的片上內(nèi)存容量達(dá)到了82TB，各個(gè)CS-2系統(tǒng)間的帶寬速率高達(dá)388Tbps。
在16位計(jì)算下，該系統(tǒng)可以提供4 exaFLOPS的計(jì)算能力，這是目前世界上最快超級(jí)計(jì)算機(jī)速度的四倍。它可以用于訓(xùn)練6000億參數(shù)模型，并可擴(kuò)展到支持100萬(wàn)億參數(shù)模型。作為對(duì)比，OpenAI公司的GPT-4模型是使用1.7萬(wàn)億參數(shù)訓(xùn)練的。
Cerebras和G42還計(jì)劃在2024年初在美國(guó)引入另外兩臺(tái)超級(jí)計(jì)算機(jī)，CG-2和CG-3，同時(shí)將CG-1作為云服務(wù)提供給客戶。
CG-1可以原生地處理50000個(gè)令牌，而無(wú)需任何特殊的軟件庫(kù)。在CG-1上編程完全不需要使用復(fù)雜的分布式編程語(yǔ)言，節(jié)省了在GPU上分配工作流的寶貴時(shí)間。
該超級(jí)計(jì)算機(jī)位于圣克拉拉的一個(gè)托管設(shè)施Colovore，Cerebras將根據(jù)美國(guó)法律運(yùn)營(yíng)，以確保該計(jì)算能力不會(huì)被敵對(duì)國(guó)家所利用。
G42和Cerebras相信，最快的超級(jí)計(jì)算機(jī)將有助于應(yīng)對(duì)醫(yī)療、能源和氣候變化等挑戰(zhàn)。