出品 | 搜狐科技
作者 | 鄭松毅
(相關資料圖)
編輯 | 楊錦
3月16日,百度大語言模型、生成式AI產品文心一言正式發布,定位預訓練生成式大語言模型,主要面向文學創作、商業文案創作、數理推算、中文理解和多模態生成五個場景。
會上,百度創始人、董事長兼首席執行官李彥宏通過問答演示展示了這五個場景下文心一言的表現。
相比昨日OpenAI最新推出的GPT-4大模型,文心一言的能力究竟如何?搜狐科技將百度在發布會上展示的問題,在GPT-4上進行了同題問答,希望能夠直觀地觀察文心一言與GPT-4這兩款大模型的水平與特色。
Q1.《三體》的作者是哪里人?
百度文心一言答案:
GPT-4答案:
總結:百度文心一言的回答更為詳細。
Q2.可以總結一下三體的核心內容嗎?如果續寫的話,可以從哪些角度出發?
百度文心一言答案:
GPT-4答案:
總結:文心一言更多的從文學結構及符合中國邏輯的文學創作角度出發去尋找續寫的方向,而GPT-4的思維更偏向于利用外星人等創造性話題凸顯劇情的精彩。
Q3.如果要成立一個用大模型服務中小企業數字化升級的科技服務公司,可以起什么公司名字?
百度文心一言答案:
GPT-4答案:
總結:百度文心一言是利用中文字義凸顯中國的取名文化,而ChatGPT-4更多的是基于英文的詞義特點體現取名文化。
Q4.下面我們來玩一個雞兔同籠的游戲。1只雞有2只腳1個頭,1只兔子有4只腳1個頭。那么,如果籠子里有9個頭,40只腳,應該有多少只雞,多少只兔子?
百度文心一言答案:
GPT-4答案:
總結:雖然文言一心和ChatGPT-4都能識別出本題目有錯,但看起來ChatGPT-4將錯誤點講解的更為詳細,有利于題目創作者更快的發現問題所在。
把Q4的問題更正后:下面我們來玩一個雞兔同籠的游戲。1只雞有2只腳1個頭,1只兔子有4只腳1個頭。那么,如果籠子里有9個頭,30只腳,應該有多少只雞,多少只兔子?
百度文心一言答案:
GPT-4答案:
總結:百度文心一言對這個問題回答的是正確的結果,而ChatGPT-4給出的是錯誤答案。可見文心一言對于復雜問題的計算能力優于GPT-4。
Q5. 請用洛陽紙貴四個字寫一首藏頭詩?
百度文心一言答案:
ChatGPT-4答案:
總結:百度文心一言對于中文的理解力及創造能力優于GPT-4。
從測試結果中可以發現,百度文心一言的對話、計算能力及文本創作能力似乎并不遜于GPT4,相較于主要基于外國數據庫訓練的GPT-4,百度文心一言在中文語境下的確更有優勢。
不過,需要指出的是,百度在發布會上做文心一言能力展示時,有些問題尚未描述完結果就已出現,更像是提前錄制好的“DEMO”,而非現場實測。
“不能說我們完全ready了,文心一言對標ChatGPT、甚至是對標GPT-4,門檻是很高的,全球大廠還沒有一個做出來的,百度是第一個。”
發布會上,李彥宏坦言,自己測試后感覺還是有很多不完美的地方。李彥宏在整個發布過程中也明顯可以看出緊張情緒。文心一言發布后,港股百度集團股價盤中走低,一度跌近10%。
據了解,百度將于即日起開啟文心一言的內測,首批用戶可以通過邀請測試碼體驗,后續搜狐科技也將帶來更為深入的實測對比。
責任編輯:Rex_16