大模型的“浪潮”正奔涌向前。
10月26日，在“2021人工智能計(jì)算大會(huì)（AICC 2021）”上，浪潮人工智能研究院宣布：正式開放源1.0的API（應(yīng)用程序編程接口），開放高質(zhì)量中文數(shù)據(jù)集，開源該大模型的訓(xùn)練、推理及應(yīng)用代碼，并和合作伙伴一起，推動(dòng)面向多元AI芯片的模型移植開發(fā)。
距發(fā)布全球最大人工智能巨量模型——源1.0不到1個(gè)月時(shí)間，浪潮人工智能研究院就邁出了開源開放的步伐。如此緊鑼密鼓的行動(dòng)，浪潮將推動(dòng)大模型向何處去？
智慧之“源”
“智慧時(shí)代即將到來。”在2021人工智能計(jì)算大會(huì)上，中國(guó)工程院院士王恩東說，“算力已經(jīng)成為智慧時(shí)代的決定性力量，面對(duì)指數(shù)級(jí)增長(zhǎng)的戰(zhàn)略需求，計(jì)算產(chǎn)業(yè)正面臨多元化、巨量化、生態(tài)離散化交織的趨勢(shì)與挑戰(zhàn)。”
王恩東認(rèn)為，當(dāng)前多樣化的智能場(chǎng)景需要多元化的算力，巨量化的模型、數(shù)據(jù)和應(yīng)用規(guī)模需要巨量的算力，算力已經(jīng)成為人工智能繼續(xù)發(fā)展的重中之重；另一方面，從芯片到算力的轉(zhuǎn)化依然存在巨大鴻溝，多元算力價(jià)值并未得到充分釋放。
大模型已經(jīng)成為全球人工智能競(jìng)爭(zhēng)的戰(zhàn)略制高點(diǎn)，成為應(yīng)對(duì)新挑戰(zhàn)的必然選擇。但小公司只能做其中的一個(gè)環(huán)節(jié)，這造成生態(tài)的縱向不通；而大公司希望構(gòu)建封閉的系統(tǒng)，這造成了生態(tài)的橫向不通。
大模型對(duì)于算力、算法和數(shù)據(jù)的要求，對(duì)協(xié)同創(chuàng)新能力的要求非常高。比如，源1.0有2457億的參數(shù)，訓(xùn)練部署一個(gè)完整的模型副本需要304塊GPU。為保證精度、加速訓(xùn)練性能，研究團(tuán)隊(duì)在模型算法上開展了一系列創(chuàng)新，解決了大模型開發(fā)不穩(wěn)定這一業(yè)界難題，最后在2128塊GPU集群上取得了優(yōu)異的性能。對(duì)比GPT-3完成訓(xùn)練需要1萬(wàn)塊GPU、1750億參數(shù)量和570GB訓(xùn)練數(shù)據(jù)集，源1.0參數(shù)規(guī)模領(lǐng)先40%，訓(xùn)練數(shù)據(jù)集規(guī)模領(lǐng)先近10倍。
為訓(xùn)練源1.0，研究團(tuán)隊(duì)清洗了近860TB的互聯(lián)網(wǎng)數(shù)據(jù)，開發(fā)出5TB的業(yè)界最大規(guī)模高質(zhì)量中文數(shù)據(jù)集。精度方面，源1.0在中文權(quán)威的自然語(yǔ)言處理任務(wù)CLUE零樣本學(xué)習(xí)和小樣本學(xué)習(xí)榜單上均排名第一。
此外，開發(fā)大模型不但要保證巨量數(shù)據(jù)、超大規(guī)模分布式訓(xùn)練及巨量模型算法框架可靠，還要解決算力調(diào)度等多方面的難題。
“進(jìn)入大模型時(shí)代，我們很多用戶和合作伙伴已無法自己去完成這樣一個(gè)大模型的研發(fā)、訓(xùn)練和交互工作了。”浪潮信息副總裁劉軍說，“從算力行業(yè)發(fā)展來說，我們一定要幫助用戶和合作伙伴，推動(dòng)人工智能向生態(tài)化、產(chǎn)業(yè)化發(fā)展。”
匯涓成“流”
在人工智能領(lǐng)域，免費(fèi)、共享、開放和開源是幾個(gè)不同的概念。即使同為開源，開到什么程度，到代碼、數(shù)據(jù)集、API還是指令集的區(qū)別也很大。
研發(fā)源1.0之前，浪潮人工智能研究院首席研究員吳韶華團(tuán)隊(duì)曾測(cè)試過包括GPT-3之類的開源模型。結(jié)果發(fā)現(xiàn)，使用這些模型會(huì)受到各種限制，有些進(jìn)入門檻很高，有些所謂的開源實(shí)際上很難真正使用。
“源1.0這次的開源非常徹底，從數(shù)據(jù)集、源代碼到API均開放，同時(shí)還開展針對(duì)多元AI芯片的模型移植工作。我們不希望這種巨量模型成為人工智能研究的藩籬。”劉軍說。
目前，浪潮主要針對(duì)三類對(duì)象開放合作：一是大學(xué)或科研機(jī)構(gòu)的人工智能研究團(tuán)隊(duì)，二是元腦生態(tài)合作伙伴，三是智能計(jì)算中心。這種開放在用戶層面是產(chǎn)學(xué)研用全覆蓋，在內(nèi)容上是從底層開始徹底的開源開放。浪潮希望源1.0 能成為具有通用性和普惠性的“算法基礎(chǔ)設(shè)施”，從而賦能千行百業(yè)，讓企業(yè)、科研機(jī)構(gòu)或個(gè)人能真正使用這一模型。
“源1.0已經(jīng)做出來了，將來還會(huì)推出源2.0、3.0……”吳韶華說，“我們將其開源，下一步會(huì)向多模態(tài)方向發(fā)展，進(jìn)一步優(yōu)化算法、提高算力、提升參數(shù)數(shù)量。希望源2.0將來是和合作伙伴一起推出的，這樣可以更貼近應(yīng)用場(chǎng)景、更快速實(shí)現(xiàn)落地，同時(shí)兼顧對(duì)前沿技術(shù)的探索。”
大模型落地有諸多困難，一方面要考慮技術(shù)如何走出實(shí)驗(yàn)室，另一方面真正有數(shù)據(jù)、有需求的行業(yè)可能又不具備算力、數(shù)據(jù)的承載能力。此外，應(yīng)用場(chǎng)景的能源、人才是否適配都是難題。
去年12月，浪潮和國(guó)家信息中心聯(lián)合發(fā)布的《智能計(jì)算中心規(guī)劃建設(shè)指南》指出，要采用領(lǐng)先的人工智能計(jì)算架構(gòu)和最新的人工智能的理論，實(shí)現(xiàn)智能計(jì)算中心這個(gè)平臺(tái)的算力的生產(chǎn)、聚合、調(diào)度和示范，從而推動(dòng)AI產(chǎn)業(yè)化、產(chǎn)業(yè)AI化和政府治理的智能化。
為更好服務(wù)新型基礎(chǔ)設(shè)施建設(shè)，提供智慧城市解決方案與產(chǎn)品服務(wù)，浪潮首先提出自己的智能化，從智能工廠、智能客服體系來提升服務(wù)水平。同時(shí)，通過開源開放計(jì)劃，浪潮和合作伙伴一起，打造普惠產(chǎn)業(yè)的算法算力平臺(tái)，促進(jìn)人工智能生態(tài)化、產(chǎn)業(yè)化發(fā)展。
奔涌“浪潮”
新舊技術(shù)的更迭遠(yuǎn)超人們的想像。IBM的締造者托馬斯•沃森曾說，“全世界只需要5臺(tái)電腦就足夠了”。微軟聯(lián)合創(chuàng)始人比爾•蓋茨在一次演講中宣稱，“個(gè)人計(jì)算機(jī)的內(nèi)存640K足矣”。然而，現(xiàn)在一部手機(jī)的性能就“秒殺”20年前最快的“超級(jí)計(jì)算機(jī)”。
“如果我們放寬視野，從更長(zhǎng)的時(shí)間維度看，現(xiàn)在的大模型也許10年后就不值一提了。”劉軍說，“未來大模型的發(fā)展，要從應(yīng)用場(chǎng)景和用戶需求出發(fā)，進(jìn)一步優(yōu)化算法、提高算力、增加數(shù)據(jù)量。”
吳韶華同樣認(rèn)為，任何一項(xiàng)技術(shù)的發(fā)展，都要經(jīng)歷從興起、成熟再到落地的過程。“從發(fā)展規(guī)律來看，大模型現(xiàn)在剛剛興起，大家正圍繞模型體量及模型體量帶來的推動(dòng)效應(yīng)開展探索。當(dāng)大模型走向成熟之后，才會(huì)涉及具體的問題，比如小型化運(yùn)營(yíng)、高性能、可部署等方面”。
“貧窮限制了我們的想象力。”劉軍風(fēng)趣地說，“以前我們沒有相應(yīng)資源、也不具備相關(guān)技術(shù)，不知道有更大的算力、更大的數(shù)據(jù)、更大的模型能干什么。今天我們有條件這么做，我認(rèn)為這就是科技發(fā)展的趨勢(shì)，它能讓我們更快、更強(qiáng)。”
浪潮研發(fā)源1.0的初衷有兩個(gè)：一是探索人工智能的前沿方向，推動(dòng)智能算法創(chuàng)新；二是建設(shè)算力基礎(chǔ)設(shè)施，并落地應(yīng)用、推動(dòng)產(chǎn)業(yè)落地。由此可見，這個(gè)開放共享的“源”不僅是個(gè)大模型，也是創(chuàng)新之源、智慧之源。
“道旅遼遠(yuǎn)，山川悠長(zhǎng)。”這是源1.0在人工智能計(jì)算大會(huì)上創(chuàng)作的一句意境悠遠(yuǎn)的詩(shī)，似乎也在勉勵(lì)人們：從源出發(fā)，不捐細(xì)流、不畏險(xiǎn)阻，終會(huì)形成澎湃“浪潮”，席卷人工智能的海灘�！�
《科學(xué)新聞》 (科學(xué)新聞2021年10月刊 AI)