精品久久久久久无码专区_久久精品国产99久久久古代_久久精品人妻无码一区二区三区_久久婷婷综合色丁香五月_老色鬼久久亚洲AV综合_两个人看的WWW在线观看_麻豆精产国品一二三产区区_最近中文字幕免费MV在线视频_影音先锋女人AA鲁色资源_男人扒开女人内裤强吻桶进去,国产精品自在拍首页,AV高潮娇喘抽搐喷水视频,日韩av片无码一区二区不卡电影

推廣 熱搜: APP  品牌  深圳APP外包公司  中國  發(fā)展  吉三代  智能  出口  產(chǎn)業(yè)  手機(jī) 

為什么ChatGPT沒有誕生在中國?三只“攔路虎”

   日期:2023-03-02     來源:快科技    作者:豐色    瀏覽:41    違規(guī)舉報
 
騰訊云服務(wù)器優(yōu)惠

ChatGPT爆火之后,算力問題也被推到了風(fēng)口浪尖,。

根據(jù)OpenAI CEO的說法,每調(diào)用一次ChatGPT就會消耗幾美分,。那么如果全球每人都搜索一下,,為什么OpenAI不會破產(chǎn)?

全國的A100顯卡就那么幾萬卡,,如果大家都去煉大模型,,算力不夠用怎么辦?……

CCF CTO Club發(fā)起的最新一期CCF C³活動就來到并行科技,,話題聚焦于“算力網(wǎng)絡(luò)賦能人工智能”,,以ChatGPT這一熱門話題為引子,展開了一場多維度的主題分享和討論,。

為什么ChatGPT沒有誕生在中國,?三只“攔路虎”

據(jù)統(tǒng)計,線上約有9500人圍觀了此次活動,。

所以,,具體都講了些什么,?

訓(xùn)練千億大模型,至少面臨三大挑戰(zhàn)

活動最先開始的主題分享環(huán)節(jié),,北京大學(xué)人工智能研究院助理教授(博導(dǎo))楊耀東講了一個非常有趣的東西,,即微軟最新公布的一個研究項目。

為什么ChatGPT沒有誕生在中國,?三只“攔路虎”

該項目直接將ChatGPT的輸出接到一個機(jī)械臂以及一個微機(jī)上,。然后通過人與ChatGPT交互,來控制機(jī)械臂完成特定任務(wù),,比如用一堆方塊拼成一個微軟的logo,。

為什么ChatGPT沒有誕生在中國?三只“攔路虎”

楊耀東告訴大家,,這項研究非常有意義,。

如下圖所示,以往我們要完成類似任務(wù),,需要人去編程,。

現(xiàn)在有了ChatGPT之后,我們要做的就不再是設(shè)計程序,,而是設(shè)計一個prompt或者是一個instruct,,讓ChatGPT通過這個prompt或instruct去編程,進(jìn)而完成對機(jī)械臂的控制,。

為什么ChatGPT沒有誕生在中國?三只“攔路虎”

ChatGPT還有這種妙處,?著實讓人感到驚喜,。

那么問題來了:

這么一個好東西,為什么沒有先在中國誕生,?是我們完全沒有關(guān)注這件事情嗎,?

北京智譜華章科技有限公司的CEO張鵬,在ChatGPT爆火后經(jīng)常被問到這個問題,。

為什么ChatGPT沒有誕生在中國,?三只“攔路虎”

對此,他想說,,并非沒有關(guān)注,,國內(nèi)如華為、達(dá)摩院,、清華大學(xué)等機(jī)構(gòu)一直在做類似的事情,。

比如清華大學(xué)知識工程實驗室(KEG)與智譜AI共同研發(fā)的大規(guī)模中英文預(yù)訓(xùn)練語言模型GLM-130B

它可與GPT-3基座模型對標(biāo),,在同等運(yùn)算速度與精度的要求下,,GLM-130B對顯存資源的消耗可節(jié)省75%,,自2022年8月發(fā)布以來,已收到41個國家266個研究機(jī)構(gòu)的使用需求,。

在Stanford報告的世界主流大模型評測中,,它更是中國唯一入選的模型,其準(zhǔn)確性,、惡意性與GPT-3持平,,魯棒性和校準(zhǔn)誤差在所有模型中表現(xiàn)最佳。

但,,不得不承認(rèn),,ChatGPT的實力確實非常強(qiáng)大。

而我們要想訓(xùn)練類似一個千億大模型,,至少要面臨三大挑戰(zhàn)

一,、高昂的訓(xùn)練成本。比如ChatGPT的算力需求就是“A100x1000塊x30天”,。

二,、人力投入極大。比如谷歌PaLM 530B團(tuán)隊,,前期準(zhǔn)備29人,,訓(xùn)練過程11人,整個作者列表68人,,而目前國內(nèi)可用做大模型的高精尖人才不超過百人,。

三、訓(xùn)練過程不穩(wěn)定,,且調(diào)試?yán)щy,,容易出現(xiàn)訓(xùn)練不收斂現(xiàn)象。

張鵬指出,,在這些問題之中,,算力絕對是非常重要的因素。

他曾經(jīng)估算過,,從GPT3開始到ChatGPT的誕生,,中間用來訓(xùn)練模型用的算力,達(dá)到了億美金以上的規(guī)模,。

更別說這還只是對“成功部分”的估計,,如果算上訓(xùn)練失敗和試錯的成本,這個數(shù)字肯定又要翻幾番,。

因此,,我們要想搞千億大模型,算力問題一定不可忽視,。

算力網(wǎng)絡(luò)實現(xiàn)算力全國共享

根據(jù)IDC發(fā)布的報告,,中國AI算力規(guī)模增長飛速,,2022年為268EFLOPS,到2026年則可達(dá)1271.4EFLOPS,。

為什么ChatGPT沒有誕生在中國,?三只“攔路虎”

但在并行科技董事長陳健看來,ChatGPT爆火之后,,這個增長速度根本不夠:大家要么仍然缺算力,,要么缺合適的算力。

因此,,他提出了“可用,、好用以及降本”這三個概念。

他介紹道,,并行科技從超算起家,,一直專注于算力行業(yè),目前公司在做的全國一體化算力網(wǎng)絡(luò),,就是要將國內(nèi)優(yōu)質(zhì)的超算,、智算與通用算力全部聚合起來,形成一個算力資源,、應(yīng)用資源,、數(shù)據(jù)資源可以共享和交易的算力網(wǎng)絡(luò)。

這個網(wǎng)絡(luò)可以確保當(dāng)我們需要用算力的時候,,只要中國還有可用的空閑算力,,我們就能用到。

當(dāng)然,,它的價格一定要合理,。

為什么ChatGPT沒有誕生在中國?三只“攔路虎”

據(jù)悉,,并行科技目前與廣州超算、北京超算,、濟(jì)南超算,、中科院超算、浙江超算,、寧夏超算等國產(chǎn)算力資源在內(nèi)的大批優(yōu)質(zhì)算力資源結(jié)合,,共計接入超80000臺服務(wù)器,總計算力超1000PFlops,,存儲資源超800PB,。

算法優(yōu)化也是一條途徑

在主題討論環(huán)節(jié),大家一齊分享了自己對如何解決算力需求這個問題的看法,。

在智譜AI CEO張鵬看來,,算力是由市場驅(qū)動的,,只要符合市場需求,創(chuàng)造出真正的社會價值,,就有辦法解決,。

而且,這個辦法一定是多元化的,。

比如在硬件層面,,我們可以打造更先進(jìn)的芯片;在宏觀資源調(diào)度方面,,如并行科技陳健所說,,算力網(wǎng)絡(luò)是一個好思路。

而最終,,可能將形成宏觀層有算力網(wǎng)絡(luò),,硬件層有強(qiáng)大芯片,中間層有軟件做算法優(yōu)化與加速這種“多向奔赴”的方式,。

此外,,他也認(rèn)為,特異化也可能會成為解決AI算力的一種趨勢,。因為就拿芯片來說,,通用芯片的成本一定會比專用的高。

對此,,中科院計算機(jī)網(wǎng)絡(luò)信息中心AI技術(shù)與應(yīng)用發(fā)展部負(fù)責(zé)人王彥棡補(bǔ)充道,,在人工智能領(lǐng)域,軟件的確是需要大家關(guān)注的重點,,它是構(gòu)成行業(yè)生態(tài)的關(guān)鍵,,容易出現(xiàn)“卡脖子”問題,做好未雨綢繆,,才能應(yīng)對不斷變化的發(fā)展時局,。

陳健則在這個環(huán)節(jié)分享了當(dāng)天刷到的一條朋友圈:

已經(jīng)摸到一定高度的情況下,再去比參數(shù)誰多是不明智的,。要比誰用更少的參數(shù),,更少的算力,也能達(dá)到同樣的效果,,包括性能和體驗,。

這條朋友圈來自某位行業(yè)專家。

陳健對此頗為贊同,,他表示:我們做優(yōu)化的都知道,,最好的優(yōu)化不是在硬件上去調(diào)整性能,而是用一個更好的算法,,讓總計算量降下去,,從而提高更好的體驗,。

因此,陳健認(rèn)為,,這也是解決算力問題一個非常非常好的路徑,,如果這一點上能突破,可能對算力公司來說不是好消息,,但是對于我們整個社會來說是非常巨大的進(jìn)步,。

為什么ChatGPT沒有誕生在中國?三只“攔路虎”

接下來,,大家還就本期的主題算力網(wǎng)絡(luò)進(jìn)行了更深一步的討論,。

并行科技AI云事業(yè)部總經(jīng)理趙鴻冰表示,算力網(wǎng)絡(luò)接下來的發(fā)展重點是算力接入標(biāo)準(zhǔn)化,。有了標(biāo)準(zhǔn),,更多算力資源才能被有效的接入到算力網(wǎng)絡(luò)中,滿足需求端的靈活使用,。

歷史上,,電力網(wǎng)絡(luò)的構(gòu)建曾為人類帶來福祉。現(xiàn)在我們也可以暢想一下,,未來是否可以基于算力網(wǎng)絡(luò)來實現(xiàn)大模型訓(xùn)練,。

當(dāng)然,這需要我們在算力網(wǎng)絡(luò)分布式計算技術(shù)等相關(guān)領(lǐng)域做進(jìn)一步研究,。

現(xiàn)場提問

本場活動的最后環(huán)節(jié),,是留給線上線下觀眾的現(xiàn)場提問,不少人將目光聚集到了ChatGPT本身,。

有人關(guān)心ChatGPT是否需要做算法方面的創(chuàng)新,。

對此,楊耀東表示,,對它來說,,可能不需要。

他引用了ChatGPT項目負(fù)責(zé)人的一句話:

人們通常會低估一個簡單的想法實現(xiàn)好后對效能的增長,;而過于高估一個全新想法能帶來的效能增長。

因此他認(rèn)為,,即便ChatGPT看似簡單,,如果能在工程化方面做到極致,也會有非常好的應(yīng)用效果,。

前些日子,有研究發(fā)現(xiàn)ChatGPT背后的大模型具有9歲兒童心智,。

現(xiàn)在,,也有人將類似問題拋給了現(xiàn)場嘉賓:

基于ChatGPT目前在應(yīng)用中的表現(xiàn),是否可以判定它已經(jīng)產(chǎn)生了智能,?

對于這個問題,,楊耀東也發(fā)表了看法,。他認(rèn)為從某種角度上來看,我們可以說ChatGPT已經(jīng)產(chǎn)生了“智能”,。就比如面對雞兔同籠問題,,換個數(shù)它依然能解,,不會出現(xiàn)突然到某個層級不能泛化的問題,。

但是它底層的模型,,說到底就是一些Encode和Decoder,,基于Attentio架構(gòu)的東西。它為什么能涌現(xiàn)出這么復(fù)雜的pattern,?

這還是數(shù)據(jù)帶來的歸納偏置非常多以后,,涌現(xiàn)出來一定意義上的智能所帶來的。

但是這個智能是不是我們科學(xué)意義上定義的智能,,或者我們怎么去定義智能——這個問題本身還很難說清楚,。


文章出處:量子位

免責(zé)聲明:
1、本站所收集的部分公開資料來源于互聯(lián)網(wǎng),,轉(zhuǎn)載的目的在于傳遞更多信息及用于網(wǎng)絡(luò)分享,,并不代表本站贊同其觀點和對其真實性負(fù)責(zé),,也不構(gòu)成任何其他建議,。
2,、本站部分作品內(nèi)容是由網(wǎng)友自主投稿和發(fā)布、編輯整理上傳,,對此類內(nèi)容本站僅提供交流平臺,,不為其版權(quán)負(fù)責(zé),,更不為其觀點承擔(dān)任何責(zé)任。
3,、因行業(yè)及專業(yè)性有限,故未能核驗會員發(fā)布內(nèi)容的真實性及有效性,,不為其負(fù)責(zé),,如有虛假或違規(guī)內(nèi)容敬請準(zhǔn)備材料圖片發(fā)郵件到info@n#舉報,,本站核實后積極配合刪除,。
4,、如果您發(fā)現(xiàn)網(wǎng)站上有侵犯您的知識產(chǎn)權(quán)的作品,,請與我們?nèi)〉寐?lián)系,我們會及時處理或刪除,。
 
 
更多>同類資訊文章
0相關(guān)評論

推薦圖文
推薦資訊文章
點擊排行
網(wǎng)站首頁  |  關(guān)于我們  |  聯(lián)系方式  |  使用協(xié)議  |  免責(zé)聲明  |  版權(quán)隱私  |  信息發(fā)布規(guī)則  |  網(wǎng)站地圖  |  排名推廣  |  廣告服務(wù)  |  積分換禮  |  網(wǎng)站留言  |  RSS訂閱  |  違規(guī)舉報  |  粵ICP備2020081222號
Powered By DESTOON