作者|周雅
如果不是在今年這屆WAIC2023(世界人工智能大會)的現(xiàn)場,你很難一次性看到這么多大模型扎堆。據(jù)悉此次參展的大模型多達30余個,僅被拿來對標“ChatGPT”的國產(chǎn)大語言模型,就包括:
清華大學計算機系知識工程實驗室的千億參數(shù)中英文對話模型ChatGLM-130B、復旦大學自然語言處理實驗室的MOSS、百度“文心一言”、阿里巴巴“通義千問”、科大訊飛星火認知大模型、商湯商量中文語言大模型、云知聲山海大模型等之多。當然,這些也還只是冰山一角,據(jù)不完全統(tǒng)計來看,國內(nèi)大模型用“群模大戰(zhàn)”來形容也毫不夸張。
國產(chǎn)大模型的頃刻爆發(fā),也導致算力的需求前所未有,增長曲線陡峭。有數(shù)據(jù)專門統(tǒng)計過,深度學習出現(xiàn)之前,用于AI訓練的算力增長大約每20個月翻一番;之后,用于AI訓練的算力大約每6個月翻一番;2012年后,全球頭部AI模型訓練算力需求更是加速到每3個月至4個月翻一番,即平均每年算力增長幅度達到驚人的10倍;目前大模型發(fā)展如火如荼,訓練算力需求有望擴張到原來的10到100倍。
“過去兩年內(nèi),大模型帶來了750倍的算力需求增長,而硬件的算力供給增長僅有3倍。”華為昇騰計算業(yè)務總裁張迪煊在采訪中,道出大模型增長與算力供給之間的不平衡現(xiàn)狀。換言之,其中存在超過兩百倍的算力缺口。
甚至,中國工程院院士、鵬城實驗室主任高文在WAIC2023期間指出,“算力也是數(shù)字經(jīng)濟發(fā)展的一個指數(shù),算力夠,數(shù)字經(jīng)濟就能發(fā)展好;反之,就發(fā)展不好。”他還援引清華大學的一份2022年咨詢報告佐證觀點,“算力指數(shù)和GDP成正比,算力越強,GDP就越強。”
這意味著,如果按照先前機構(gòu)預測的“AIGC到2030年將創(chuàng)造一個萬億級的市場規(guī)模”,那么對于國產(chǎn)大模型來說,眼下最關(guān)鍵是找到高可靠性、高性價比的算力。
一個龐大的萬卡“算力工廠”
眾所周知,訓練AI算法需要用到大量GPU算力資源,那么大模型時代下,如何才能把可用的算力資源,變成好用的算力資源?
業(yè)內(nèi)一個行之有效的方案是,既然單個服務器難以滿足計算需求,那么為何不集中火力辦大事,可以將多個服務器連接成一臺“超級計算機”,而這臺超級計算機,就是算力集群。
以華為舉例。2018年,華為對外發(fā)布AI戰(zhàn)略,開始打造昇騰AI技術(shù)軟件平臺。時至今日,華為把昇騰AI打造成了一個算力集群,它集結(jié)了華為云、計算、存儲、網(wǎng)絡(luò)、能源的綜合優(yōu)勢。華為的理念是“DC as a Computer”,相當于把AI算力中心當成一臺超級計算機來設(shè)計。
2019年,華為發(fā)布Atlas 900 AI訓練集群,由數(shù)千顆華為自研的昇騰910 AI芯片構(gòu)成,從今年6月可支持4000張卡,到目前已經(jīng)可支持8000張卡。而華為在WAIC期間宣布計劃,到今年底或明年初做到16000張卡,成為業(yè)界首個萬卡的AI集群。
為何打造算力集群?
張迪煊在采訪中解釋說,過去的小模型,每個場景是定制化的,導致開發(fā)成本高、變現(xiàn)能力差;大模型出現(xiàn)后,模型的泛化性越來越好、能力越來越強、可以很好去賦能各行業(yè)。“我們在那時候判斷,AI若要發(fā)展,必然要走向大模型+大算力+大數(shù)據(jù)的計算方式。”所以,昇騰AI迭代到萬卡集群,目的是讓大模型訓練越來越快。
萬卡集群相當于什么概念?以1750億參數(shù)量的GPT-3模型訓練為例,使用單張英偉達V100顯卡,訓練時長預計要288年;8張V100顯卡的訓練時長預計要36年;512張V100的訓練時長接近7個月;而1024張A100的訓練時長,可以減少到1個月。
按照華為的評估,訓練一個1750億參數(shù)、100B數(shù)據(jù)的GPT-3模型,在8000張卡的Atlas 900 AI集群下需要耗時1天,在16000張卡的集群下可以縮短到半天完成訓練。“就像寫代碼一樣,敲一個鍵盤,這些文件就出來了。”張迪煊形容道。
“中國有一半左右的大模型創(chuàng)新,目前都是由昇騰AI來支持的。”華為輪值董事長胡厚崑在WAIC2023期間強調(diào),“昇騰AI集群目前可以提升10%以上的大模型訓練效率,提高10倍以上的系統(tǒng)穩(wěn)定性,支持30天不中斷的長期穩(wěn)定訓練。”
胡厚崑還公布了昇騰AI過去一年來的成績單:開發(fā)者數(shù)量從90萬到180多萬,實現(xiàn)了翻倍;原生孵化和適配30多個10億以上的大模型,占國產(chǎn)大模型的一半;目前已發(fā)展30多家硬件伙伴、1200多家ISV(獨立軟件開發(fā)商)、聯(lián)合推出2500多個行業(yè)AI解決方案;此外,昇騰AI集群已支撐全國25個城市的人工智能計算中心建設(shè),其中7個城市公共算力平臺入選首批國家“新一代人工智能公共算力開放創(chuàng)新平臺”,算力規(guī)模占比90%;同時,已有23家企業(yè)推出昇騰AI系列新品,覆蓋云、邊、端智能硬件,一同提升大模型開發(fā)、訓練、微調(diào)、部署的效率。
這里我們梳理一下,面向AI這片前景廣闊的機遇之海,華為主要走了三條路徑:
其一,算力領(lǐng)域,從單點算力到集群算力,打造強有力的算力底座。這部分主要基于昇騰AI。
其二,產(chǎn)業(yè)領(lǐng)域,堅持開源開放,來做強昇騰人工智能產(chǎn)業(yè)生態(tài)。這部分主打的就是政、產(chǎn)、學、研、用的合作。
其三,生態(tài)領(lǐng)域,推動昇騰AI服務從通用大模型到行業(yè)大模型,推動AI“走深向?qū)?rdquo;。這部分目標是千行百業(yè)。
大模型落到實處
與華為的三條AI發(fā)展路徑相對應的,是公眾圍繞“大模型”的關(guān)注度變化,從早期的“是什么”“為什么”轉(zhuǎn)而開始關(guān)心“怎么用”,換句話說,此刻更多人開始關(guān)心“大模型真正能發(fā)揮作用的場景在哪里”。
這時候,一個相對細分的行業(yè)大模型就被注意到了。
“東方·翼風”,是由中國商飛上海飛機設(shè)計研究院開發(fā)的三維超臨界機翼流體仿真大模型,能高精度模擬大飛機全場景飛行狀況,而且用時僅為原來的千分之一,相當于將大飛機三維翼型設(shè)計速度提升1000倍,縮短了商用大飛機的研發(fā)周期。
要知道,一架飛機在飛行過程中50%的阻力來自于翅膀,所以如何造出一個滿足飛機飛行要求的機翼,是非常重要的。根據(jù)中國商用飛機有限責任公司科技委常委、遠程寬體客機總設(shè)計師陳迎春的介紹,目前大型客機的設(shè)計主要采用三種手段:數(shù)值仿真模擬、風洞實驗和飛行實驗,這三種互為補充。
但其中「數(shù)值仿真模擬」耗時長、成本高,是飛機設(shè)計的一大瓶頸;而「飛行實驗」和「風洞實驗」也很費錢,所以傳統(tǒng)的數(shù)值模擬方法算不動、算不快。要解決這個問題,唯有用到AI技術(shù)。
“東方·翼風”大模型因為有AI的加持,實現(xiàn)了效率、精度、模型、場景四個層面的突破:第一,在效率方面,用AI模型代替?zhèn)鹘y(tǒng)Navier-Stokes方程求解,大幅提升了全局仿真效率。第二,在精度方面,對流動劇烈變化區(qū)域特征進行精細捕捉,比如在飛機巡航階段的機波現(xiàn)象,提升了模型的預測精度。第三,在模型方面,建立大數(shù)據(jù)樣本下模型組件化與分布式并行能力,大幅提升了新模型研發(fā)效率。第四,在場景方面,建立了流體到AI的數(shù)據(jù)統(tǒng)一映射,適用汽車、高鐵等多種仿真場景。
如果進一步剖析商飛的“東方·翼風”大模型,它有兩個必備條件:其一,大模型的技術(shù)底座,這部分來自華為的昇騰AI;其二,流體領(lǐng)域的設(shè)計思路、專家經(jīng)驗、行業(yè)數(shù)據(jù),這部分是商飛的范疇。
從這里可見大模型的發(fā)展邏輯:當技術(shù)的觸角深入應用到各個行業(yè)場景里,帶來整個商業(yè)系統(tǒng)的健康運轉(zhuǎn),進而帶動產(chǎn)業(yè)高質(zhì)量發(fā)展。在這個過程中,技術(shù)廠商和行業(yè)廠商各司其職、互補共生。
“整個產(chǎn)業(yè)是有分工的,昇騰主要是做好算力,不會去碰大模型。”張迪煊在采訪中也強調(diào)。
如何打通 “最后一公里”?
談及爆發(fā)式增長的大模型,張迪煊坦言,如今雖是“百模大戰(zhàn)”,但未來重點卻應該是各有分工。
其中,L0通用大模型只有一部分大廠能“燒”得起,更多企業(yè)做的是L1行業(yè)大模型,還有一部分在做場景大模型。比如金融行業(yè),由于L0缺乏行業(yè)屬性,因此一些企業(yè)會拿L1的模型去做金融大模型,然后結(jié)合一些細分場景需要(比如精準營銷的、風險風控的、智能客服的)再去做一個場景大模型。這是一個產(chǎn)業(yè)趨勢。
在張迪煊看來,大模型的商業(yè)競爭即將開啟,大家一方面會快速造模型,另一方面會快速搶占格局,但之后形勢會有所收斂。
當有了大算力、大模型,如何打通行業(yè)落地最后一公里?
目前,整個行業(yè)的痛點是大模型研發(fā)周期長、部署門檻高、業(yè)務安全性等。為了解決這個難題,華為與面壁智能、智譜AI、科大訊飛、云從科技四家伙伴共同發(fā)布大模型訓推一體化解決方案,通過共同設(shè)計、聯(lián)合開發(fā)、協(xié)同上市、持續(xù)迭代,為行業(yè)客戶提供“開箱即用”的大模型一體化解決方案。
“客戶只需選擇合適的大模型,輸入行業(yè)數(shù)據(jù),即可以完成大模型的訓練、微調(diào)、推理的全流程。”張迪煊指出,“華為做到了在精度小于千分之五的范圍內(nèi),實現(xiàn)20倍以上的模型壓縮,幫助大模型壓縮后用到場景中,降低部署難度和開發(fā)成本。”
“昇騰AI支持了中國近一半的原創(chuàng)大模型,也是目前國內(nèi)唯一完成千億參數(shù)大模型訓練并商用的系統(tǒng)。”,張迪煊最后看似輕松的給出這樣一組數(shù)字。
好文章,需要你的鼓勵
新加坡國立大學研究團隊開發(fā)了SPIRAL框架,通過讓AI與自己對弈零和游戲來提升推理能力。實驗顯示,僅訓練AI玩簡單撲克游戲就能讓其數(shù)學推理能力提升8.6%,通用推理提升8.4%,且無需任何數(shù)學題目作為訓練材料。研究發(fā)現(xiàn)游戲中的三種推理模式能成功轉(zhuǎn)移到數(shù)學解題中,為AI訓練提供了新思路。
同濟大學團隊開發(fā)的GIGA-ToF技術(shù)通過融合多幀圖像的"圖結(jié)構(gòu)"信息,創(chuàng)新性地解決了3D相機噪聲問題。該技術(shù)利用圖像間的不變幾何關(guān)系,結(jié)合深度學習和數(shù)學優(yōu)化方法,在合成數(shù)據(jù)集上實現(xiàn)37.9%的精度提升,并在真實設(shè)備上展現(xiàn)出色泛化能力,為機器人、AR和自動駕駛等領(lǐng)域提供更可靠的3D視覺解決方案。
伊利諾伊大學研究團隊通過對比實驗發(fā)現(xiàn),經(jīng)過強化學習訓練的視覺語言模型雖然表現(xiàn)出"頓悟時刻"現(xiàn)象,但這些自我糾錯行為并不能實際提升推理準確率。研究揭示了AI模型存在"生成-驗證差距",即生成答案的能力強于驗證答案質(zhì)量的能力,且模型在自我驗證時無法有效利用視覺信息,為AI多模態(tài)推理發(fā)展提供了重要啟示。
MIT等頂尖機構(gòu)聯(lián)合提出SparseLoRA技術(shù),通過動態(tài)稀疏性實現(xiàn)大語言模型訓練加速1.6倍,計算成本降低2.2倍。該方法使用SVD稀疏性估計器智能選擇重要計算部分,在保持模型性能的同時顯著提升訓練效率,已在多個任務上驗證有效性。
關(guān)注科技創(chuàng)新、技術(shù)投資。
以文會友,左手硬核科技,右手浪漫主義。