7月7日新聞，中國工程院院士、鵬城實驗室主任高文活著界人工智能大會昇騰人工智能家產(chǎn)高峰論壇上演講時表現(xiàn)，沒有大算力做大模子便是挾山超海，這就和電力是一樣的，能夠省點電做出什么產(chǎn)物來，他人真正懂行的人聽了皆不相信的，必定要有算力作為基礎。
“美國的算力如今指數(shù)是排第一，比我們大約多了30%的算力，那末還就代表GDP還比我們多30%，什么時候我們的算力凌駕了美國，我們的GDP就能夠凌駕美國了?！?/p>
他暗示，從現(xiàn)在開始，算力也是數(shù)字經(jīng)濟開展的一個指數(shù)，算力夠，您的數(shù)字經(jīng)濟就可以開展好，不敷就開展欠好。
以下為高文演講全文：
列位專家、列位指導，各人下戰(zhàn)書好！
前面的輔導都講得很好，算力是非常重要的一件事，今天上午陳書記在講的時間還講到，上要抓三件大事，人工智能層面此中就有一個是算力建立，算力建立非常重要的一層面，就像電力一樣。
從現(xiàn)在開始，算力也是數(shù)字經(jīng)濟成長的一個指數(shù)，您算力夠，您的數(shù)字經(jīng)濟就可以成長好，不敷就成長欠好。所以，特別是智能算力就異常要害。
所以跟人人分享關于鵬城云腦的智算平臺，再就是分享一下在這個平臺上面干的鵬城腦海大模子。
首先，我們說算力很主要，主要到什么水平呢？
清華大學的一個2022年的征詢講演說到了，經(jīng)由統(tǒng)計計算力指數(shù)和GDP是正相關的干系，您算力越強您的GDP就越強，最右側的圖能夠看到，美國的算力而今指數(shù)是排第一，比我們大約多了30%的算力，那末還就代表GDP還比我們多30%，什么時候我們的算力跨越了美國，我們的GDP就能夠跨越美國了。
恰是由于算力這么主要，所以生長人工智能和經(jīng)濟沒有算力不太可能，要有算力要有芯片，芯片干成機械，用這個機械鍛煉這個模子，為了干這件事，我們正在2020年深圳就干了一臺機械，這臺機械叫鵬城云腦II，這臺機械的算力正在2020年的時間是齊球干人工智能鍛煉最強的一臺機械，比那時微軟、谷歌的機械皆要強，相稱因而4000塊卡的機械，并且這臺機械是4000塊A100卡的機械，這臺機械是用齊光網(wǎng)絡把它連起來的，節(jié)點和節(jié)點之間的延遲異常低。
由于，有了這臺機械能夠干很許多事，包孕我們能夠干科學研究，能夠干家產(chǎn)利用另有關鍵技術的研發(fā)。
這臺機械方才我說有4000塊卡，一個是鯤鵬CPU，一個是昇騰NPU，全是華為的。
有了這臺機械之后，那末這臺機械的性能行不行呢？就參與天下TOP500的超算的打榜，齊部超算齊部算力的打榜，與此同時它也是有其他的賽道，我們參與的一個是IO500的賽道，您的輸出和輸入本領的賽道，我們由2020年10月份這臺機械做出來之后，11月份就參與打榜，持續(xù)6次第一，每半年有一次打榜，齊節(jié)點持續(xù)二次第一。
所以，這臺機械在干人工智能鍛煉這件事，他人沒法和它比。這臺機械的AI算力，這個是三年一次的，還參加了打榜，延續(xù)三次第一。這臺機械不只硬件強，接口才能和網(wǎng)絡很是強，與此同時上面的軟件還是裝備得比力完備，包孕怎樣干分布式測算，怎樣干敕令調(diào)優(yōu)、自研的調(diào)劑計劃等等。這臺機械這么大規(guī)模的機械從前照舊第一次，相當于它的四臺機械，其實是四臺我們的機械構成這一臺了，上面有許多軟件的挑釁。
或許有的專家或許聽到過，有些人說全球能正在1000塊卡上與此同時鍛煉一個模子的只有幾千人，能正在4000塊卡上鍛煉的沒有跨越100小我私家，正在10000塊卡上鍛煉模子的人數(shù)更少了，大規(guī)模的卡上一同干事，關于軟件計劃、資源調(diào)劑挑釁非常大。
我們不僅是把鵬城云腦II用好，我們還負擔了國家發(fā)改委的使命，用鵬城云腦II類似的華為生態(tài)的，用在昇騰AI集群，不論是100P和900P的算力結點，我們用網(wǎng)絡把資源連起來，能夠為人人供應，報告您這里有資源能夠根據(jù)網(wǎng)絡往用。
與此同時，我們還把華為生態(tài)以外的，根據(jù)發(fā)改委的規(guī)定，期待這是異構的算力網(wǎng)的平臺，我們還挑選了部份其他廠商的算力，正在2022年6月這個項目驗收的時分，曾經(jīng)聚合的智能算力到了2300P，云腦II只是1000P，這個體系曾經(jīng)聚集了2300P的智能算力。
我們有了云腦II能夠鍛煉大模子了，鍛煉大模子照舊很費算力的，然則縱然您能夠鍛煉大模子，目下當今的需求基礎不夠用，我們正在計劃干云腦III。
下面我說說大模子，鵬城正在干一個大模子，這個是2000億參數(shù)，還便是200B的參數(shù)，為何干這件事呢？
不消再花時間了，由于有ChatGPT和類ChatGPT大模子正在不停地出現(xiàn)，與此同時由于如今許多公司都用這個器械干家當使用，去干效勞。所以，如今這個模子變得很重要了，可是如今有錢的公司能夠砸一些億干那樣的機械，乃至十一些億和幾十個億，可是絕大多數(shù)的公司干免不了。
這個范疇需求這么大，怎么辦呢？
我們鵬城實驗室能夠干一個底座，模子鍛煉完開放進來，各人正在這個底座說干垂直利用。根據(jù)那樣的思緒，我們首先有鵬城云腦II的算力，前一階段我們積累了許多的數(shù)據(jù)，這一段時候前一些月我們經(jīng)過各個渠道，包孕購置拿到數(shù)據(jù)，先下面干洗濯，洗濯的數(shù)據(jù)很重，大概我拿到了100個數(shù)據(jù)，洗濯完就剩一些了，由于有許多是反復和沒有標準的，這一些器械拿掉就變得很小。雖然拿了許多的數(shù)據(jù)，然則真正用來干鍛煉的數(shù)據(jù)只有1%-5%。有了這個數(shù)據(jù)我們就能夠干大模子底座。
這個大模子底座，我們便是用的生成式預練習模子，便是和GPT完整類似的底層的物品，用這個物品練習一個好的模子，期望能夠開放進來。
而今這個模子我們想著2000億參數(shù)，200B的參數(shù)，這個訓出來今后，我們期待把它為到合作伙伴那邊，并且供應相應的指令微和諧相應的人工加強進修的東西，乃至干一兩個垂直范疇，干樣板作為垂直運用，怎么了用報告大師，由于華為在這里層面很有經(jīng)歷，我們倡議誰想干垂直運用，能夠到華為獲得一些征詢用這個模子干他們的運用。
有了這個器械，我們想要可以快速把這個模子做完可以推向社會，讓社會正在這個模子上開發(fā)中國自身的人工智能大模子運用體系。而今我們正正在密鑼緊鼓往前推，應該是8月尾第一次所有的鍛煉就鍛煉完了，9月份就會把模子開放進來。
此刻鍛煉的數(shù)占有多大呢？我們說的是喂數(shù)據(jù)，天天喂10個B，然則最主要喂一個T的數(shù)據(jù)，一個T是由幾百個T清洗來的，此刻數(shù)據(jù)全是中文和代碼數(shù)據(jù)，此刻4000多塊卡的機械天天能夠吃掉10個B，100天就可以吃掉1000個B，便是一個T，我鍛煉2000億參數(shù)的模子，需求4000塊卡鍛煉100天。
這便是算力，您假如沒有夠大的話，做一個模子照樣很辛勞的，并且我目下當今才鍛煉了一個T的數(shù)據(jù)，鍛煉兩到三個T的話，還要加兩到三個100天，沒有大算力做大模子便是挾山超海，當然有很多人說我能夠用限速（音）等等如許那樣的，可是事實上這就和電力是一樣的，能夠省點電做出什么產(chǎn)物來，他人真正懂行的人聽了皆沒有相信的，必然要有算力作為基礎。
我們的算力到現(xiàn)在為止，怎樣把數(shù)據(jù)干好訓練得快，我們有一套體系，有一個開源社區(qū)叫啟智開源社區(qū)，這里面有良多的工程師干飛輪數(shù)據(jù)工程，可以使您洗濯數(shù)據(jù)干得非常快，有良多主動和半主動的洗濯數(shù)據(jù)，都可以幫助您。
模子練習，4000塊卡吃掉10個B的數(shù)據(jù)，全部的損失天天都在降一點，我們看著尤其歡樂，天天有數(shù)據(jù)報告，一天降了0.2，我們目下當今大概在2的高低浮動，我們期望終極能夠降到1.8擺布。
這是練習的進程，與此同時我們要思量利用的時分有隱私數(shù)占有一些數(shù)據(jù)利用者，期待到你這個模子利用一下，可是沒有期待本身的數(shù)據(jù)被丟掉或者是看到，我們供應了隱私數(shù)據(jù)珍愛的模塊，我們叫防損包，有了那樣一套體系就能夠撐持利用了。
我們期望鵬城腦海出來了能夠快速向社會賦能，能夠讓各人干數(shù)字當局、“一帶一路”、智能制作、聰慧金融、聰慧醫(yī)療等等各式各樣大概的利用，這里有黃色彩和白色彩，黃色彩是而今曾經(jīng)投進人去干了，您干指令微和諧正向進修皆須要。背面是放給合作伙伴去干的，并且我們也有一些完備的全部教育方案、人才方案，人才方案就期望這個模子鍛煉放出來，大批培育人才，根據(jù)高校和合作伙伴培育，能讓中國的大模子利用快速啟動。
小結一下，鵬城實驗室正在鵬城云腦II硬件平臺和鵬城腦海大模子這兩件事都正在和華為互助正正在往前推動，想要可以對中國人工智能大模子用進獻一點力氣，作為一個基石，想要人人多關懷、多介入。
感謝各人。