不知道大家還記不記得,,上個(gè)月初谷歌畫了個(gè) Bard 的大餅,,結(jié)果畫餅時(shí)犯了低級(jí)錯(cuò)誤,讓網(wǎng)友嘲諷了半天,,甚至公司股價(jià)都在當(dāng)天狂跌 1000 多億,。
不過也不知道該說谷歌夠肝還是夠勇,在閉關(guān)修煉一個(gè)多月后,,還是正式放出了 Bard,。
幸運(yùn)的是,,我們?cè)诘谝粫r(shí)間就搞到了資格,,狠狠地體驗(yàn)了一波。
先說結(jié)論,,有點(diǎn)失望,。
Bard 上來(lái)就讓我不爽了一下,因?yàn)楝F(xiàn)階段它只對(duì)美國(guó)和英國(guó)開放,,所以和它對(duì)話只能用英文,,而且它的回復(fù)也只能用英文。
不是,,你守著個(gè)谷歌翻譯,,也不舍得稍微用一下?哪怕告訴我這是機(jī)翻的也行,。
明明自己吹牛說能理解翻譯回答包括中文在內(nèi)的200多種語(yǔ)言,。
為了表示對(duì) AI 們的一視同仁,,我一上來(lái)就問了個(gè)弱智吧經(jīng)典:
玉皇大帝應(yīng)該住在平流層還是對(duì)流層,?
Bard 看出了我們?cè)趩栴}里埋的坑,直接說玉皇大帝并不真實(shí),,所以兩個(gè)都不住,。
這沒有什么大毛病,和 GPT,、文心一言們沒什么差別,。
但在后續(xù)的一系列測(cè)試?yán)铮@應(yīng)該是 Bard 回答得最好的一個(gè)問題了,。
更進(jìn)一步,我們問了個(gè)前幾天給 GPT 們測(cè)過的另一個(gè)抽象問題:
直角是 90 度,,開水是 100 度,那么開水是鈍角嗎?
結(jié)果這貨的小腦袋瓜宕機(jī)了,。
而文心一言的表現(xiàn)也一樣抽象。
相反,,new Bing 回答得就有理有據(jù)。
接下來(lái),,我們讓它對(duì)比自己和 GPT-4。
“ 你能比較下自己和 GPT-4 嗎,?”
Bard 和 GPT 不同,,它一次能生成 3 個(gè)答案,大家可以根據(jù)自己的需求去選擇,。
而在這個(gè)問題下,,Bard 的 3 個(gè)回答中,2 個(gè)大方承認(rèn)自己比 GPT-4 落后,,但還有 1 個(gè)回答避重就輕地嘴硬自己更強(qiáng),。
嘴硬么也正常,但 Bard 的回答里出現(xiàn)了事實(shí)錯(cuò)誤,。
其中一個(gè)回答里,,Bard 把已經(jīng)發(fā)布了的 GPT-4 說成了沒發(fā)布;而在另一個(gè)回答里,,它把 GPT-3 使用的 1750 億參數(shù)套到了 GPT-4 頭上,,妥妥的胡說八道。
這就奇怪了,Bard 明明是聯(lián)網(wǎng)的,,數(shù)據(jù)怎么會(huì)有問題呢,?
為了試試它數(shù)據(jù)扒得好不好,我把同樣聯(lián)網(wǎng)的 new Bing 也拉了出來(lái),,問了它們一個(gè)新鮮問題:
今天 NBA 常規(guī)賽,,雷霆和快船誰(shuí)贏了( Who won the NBA Regular season between the Clippers and the Thunder today )。
但這里有個(gè)雷點(diǎn),。英文提問可能會(huì)被誤解成 “ 今天雷霆和快船誰(shuí)贏得了常規(guī)賽冠軍 ”,。
new Bing 就被我的錯(cuò)誤提問繞暈了,說自己不知道誰(shuí)贏了,,但它又找到了一些信息,,里面就有雷霆 101-100 戰(zhàn)勝快船的消息,。
另一邊的 Bard 看起來(lái)好像是理解了我的問題,,還找到了兩隊(duì)比分是 101-100,,但它卻又偏偏說是快船以 100-101 贏得了比賽。
得要我指出它有錯(cuò)誤,,讓它重新檢查,,它才改正過來(lái)。
數(shù)據(jù)是扒對(duì)了,,但這理解能力好像不太行。
那不用聯(lián)網(wǎng)的數(shù)學(xué)題呢,?
我們問了一個(gè)經(jīng)典的易錯(cuò)題:
一個(gè)青蛙掉到了一個(gè) 10 米深的井里,,它每天向上跳 3 米但會(huì)滑下來(lái) 2 米,請(qǐng)問他第幾天能跳出井里,?
它再次翻車,,答了一個(gè)我們至今沒搞懂怎么出來(lái)的 27 天。
而 new Bing 則是靠窮舉回答出了這個(gè)問題,。
就連大家一直在嘲諷的文心一言,,也完美解答了這個(gè)問題,。
說句實(shí)在話,,我覺得起碼在這題里,,文心一言的表現(xiàn),堪稱優(yōu)雅,。
至于寫代碼的能力,,谷歌明確表示是寫不了的。
不過試了一下,,我發(fā)現(xiàn) Bard 能寫,,但完全沒法用,和之前的測(cè)試?yán)铮?能把 2048 游戲?qū)憘€(gè)大概的 new Bing 不在一個(gè)水平線上 ,。
大概,,也就和文心一言同個(gè)梯隊(duì),文心一言那個(gè)看著很詳細(xì),,但測(cè)試了下也還是完全跑不動(dòng),。
而且,,經(jīng)過一段時(shí)間測(cè)試,,我們發(fā)現(xiàn) Bard 的上下文記憶能力也很差。
每當(dāng)我們賦予它一個(gè)角色,,它只能在有限的幾個(gè)問答里玩角色扮演,,稍微多問兩句,它就會(huì)跳出來(lái)說自己是大語(yǔ)言模型巴拉巴拉的,。
也是這個(gè)原因,,谷歌的 Bard 從沒有 GPT 帶給我的那種,,仿佛真是在和一個(gè)真人聊天的感覺。
但,,按谷歌自己的說法,,這可是故意為之。
因?yàn)樵诠俜劫Y料里,,明確寫了“ 是故意限制了 Bard 掌握上下文的能力 ”,,但大家難免會(huì)懷疑谷歌是做不到而找了個(gè)借口。
其實(shí)我們應(yīng)該能感覺到,,這次 Bard 的正式推出,谷歌方面明顯已經(jīng)放低了很多姿態(tài),。
上次面對(duì)的還是 ChatGPT,,所以谷歌內(nèi)部可能還抱有著短期內(nèi)能追上掰掰手腕的想法。
所以,,光是發(fā)布個(gè) PPT 就吹成“ 我們 AI 征程上的重要一步 ”,。
但短短一個(gè)月,,如今的對(duì)手已經(jīng)從 ChatGPT 變成了GPT-4,,短時(shí)間內(nèi)想追上可能無(wú)望了。
所以這次正式推出 Bard 并不是一個(gè)沖著和 GPT-4 對(duì)標(biāo)的產(chǎn)品,,而且明顯有點(diǎn)趕工的跡象,。
比如它在引用內(nèi)容時(shí),并不會(huì)像 new Bing 那樣總是顯示來(lái)源,,只有在詳盡地大段摘抄時(shí),,才會(huì)顯示來(lái)源。
而這次的標(biāo)題,,也成了“ 試用 Bard 并分享你的反饋 ”,。
無(wú)論咋說,,從上面的表現(xiàn)中,,能看出谷歌確實(shí)有些屁股著火了,。
以至于在大伙們眼中一直很酷的谷歌,都開始草草交卷,,急忙上線 Bard 這個(gè)不太成熟的半成品,。
畢竟,在新技術(shù)的大浪之下,,包括搜索引擎在內(nèi),,一切都可能被重構(gòu)。
無(wú)論是雪藏?cái)?shù)碼相機(jī)技術(shù)的柯達(dá),、還是在移動(dòng)互聯(lián)網(wǎng)時(shí)代,,舍不得和短信做割舍的飛信。
谷歌,,也同科技史上那些處在變革時(shí)刻的巨頭們一樣,,多半有些顧頭不顧腚。
畢竟,,根據(jù)谷歌母公司的董事長(zhǎng)的說法,,大型語(yǔ)言模型等人工智能的對(duì)話成本可能是傳統(tǒng)搜索引擎的 10 倍以上。
一旦梭哈 AI ,,那么約等于是自己捅自己刀子,整個(gè)谷歌的盈利模式也得跟著改變,。
乃至整個(gè)公司的估值,,都得換個(gè)算法重新算算。
要是不跟,,又妥妥會(huì)被新技術(shù)所淘汰,。
沒有人能永遠(yuǎn)保持創(chuàng)新,但永遠(yuǎn)有人正在創(chuàng)新,。這或許很殘酷,,但這也是科技的魅力所在吧。
文章出處:差評(píng)