撰文 |?王語妤

編輯 | 楊博丞

題圖 | IC Photo

最近，昆侖萬維和百度“杠”起來了，原因還是因為最近大火的大語言模型。

4月17日，昆侖萬維正式推出“天工”大模型，并于當日開啟測試邀請。彼時，昆侖萬維對外的宣傳用語是“中國第一個真正實現智能涌現的國產語言大模型。”

有意思的是，百度在發布文心一言的時候，對外輸出的宣傳用語是“國內首家做出大語言模型產品的科技互聯網大廠”。

從表面上看，兩家的宣傳語中心不一樣，話術也有所不同，看似風平浪靜，但實則內核都是在爭一個“首家”。

為什么要爭“首家”，除了能力的對比，市場的爭奪外，還有振奮股價，提高市值的作用，百度消息公布當天，港股股價大漲15%，昆侖萬維也一樣，官宣第二天股價漲幅達到7.68%。

不過，究竟誰是國內首家呢？

從項目披露時間來看，百度是在去年9月份左右開始去內部推進文心一言項目，到今年2月初正式放出項目的消息，并于3月中旬正式對外官宣了文心一言。

昆侖萬維官方并沒有公布具體的項目開始時間，但是從2020年開始，昆侖萬維就已經開始布局AIGC領域。

從技術層面來看，文心一言背后，百度在人工智能領域有四層架構、全棧布局，包括底層的芯片、深度學習框架、大模型以及最上層的搜索等應用。另外，深耕人工智能領域多年的百度，擁有產業級知識增強文心大模型ERNIE，具備跨模態、跨語言的深度語義理解與生成能力。

昆侖萬維同樣具備大模型四要素：數據、算力、算法以及大參數語言模型。據昆侖萬維介紹，天工是雙千億參數訓練的結果——千億預訓練基座模型、千億RLHF模型。

不過，既然兩家的底座能力看起來不相上下，那么我們就將這兩家放在一起，試試“內功”。

01、中文語意理解能力

昆侖萬維對外展示的技術路徑現實，天工團隊引入模特卡洛搜索樹算法后，在語意理解、轉換話題能力上有所提升。

在此背景下，我們首先和天工玩起了成語接龍游戲。不過，天工的完成度并不好，甚至沒能理解什么是成語接龍。

文心一言在成語接龍上的表現是優于天工大模型的。

緊接著，我們向文心一言和天工大模型拋出了一個問題——“寫一本類似《人世間》一樣題材宏大，展現中國歷史變遷的小說提綱，字數1000字左右。”對于這個問題，文心一言和天工都將問題的重心放在了“題材宏大”、“歷史變遷”這兩個關鍵詞上。

于是，兩家生成的內容都不符合我們最開始的預期。

上圖“天工大模型”，下圖文心一言

這個問題，或許是由于我們給出了一定的誤導性，所以導致兩家生成的答案都不盡人意。但是，天工稍微比文心一言好一些，原因在于，文心一言將“歷史變遷”直接解讀成了朝代變遷。

盡管天工的回答也是文不對題，但是有人物設定，朝代設定，內容的可操作性和延展性明顯是優于文心一言。

將問題拉回《人世間》類似的小說提綱，我們改變了提問角度，連續發文：《人世間》講了一個什么樣的故事、那你能寫出類似題材的小說提綱么？大概1000字左右

在提取重點、聯想寫作、以及話題的連續性上，天工的表現還是不錯的。

但是文心一言就“開了小差”。

文心一言的回答出現了明顯的錯誤。不過，我們再一次將問題拋給文心一言，重新生成答案。這一次，文心一言又重回正軌，給出了相應的答案。

此外，我們還用三個連續性問題，向天工發問。此前，我們在《大評測！ChatGPT 、文心一言和Bard誰更強？》中，將同樣的問題給到過文心一言、Bard、以及ChatGPT。

可以說，天工的前兩個問題回答和文心一言此前的回答不相上下，但在最后一個藏頭詩的理解上，還是存在一定的偏差。

盡管，文心一言的藏頭詩回答的也并不好，但好在，文心一言理解了“藏頭”的意思。而天工，似乎還并未消化掉“藏頭”的意思。

02.邏輯思辨能力

為了測試“邏輯推理”能力，我們將這樣一題拋給了天工和文心一言，即“如果貓會爬樹，那么狗也會。”

上圖“天工大模型”，下圖文心一言

很明顯，天工和文心一言也陷入了題目的誤區，或者說，并沒有完全理解題目意思。不過，這里需要強調的是，在雞兔同籠問題上，文心一言和天工在發布的視頻中都有不錯的表現。

在文心一言發布會上，李彥宏詢問文心一言“雞兔同籠”的問題，在題目數據錯誤的前提下，文心一言通過推理證明了題目存在問題。

這里需要注意的是，在這個邏輯推理上，ChatGPT的回答，是天工、文心一言、bard這四家大模型中唯一正確的，并指出了貓和狗的不同，證明貓會爬樹，而狗不會。

除了考驗邏輯能力之外，我們還將一個哲學思辨問題，同時向天工和文心一言發文。

上圖“天工大模型”，下圖文心一言

在哲學問題的理解上，天工和文心一言區別不大，但文心一言略顯“人文”一些，在解讀之后，更是直接告訴我們該怎么做，更像是和人在對話一樣，天工的回答則更是一本正經。

可以這樣來說，和天工對話像是和老師對話，老師需要回答這個問題是什么；和文心一言對話則更像是和心理醫生對話，醫生需要在解釋的基礎上給出意見。

03.編程能力

為了測試這兩大模型寫代碼的能力，我們詢問了一個非常簡單的問題——x+2=5，y-3=7，輸出x+y等于幾，用java做一個簡單編程，并得出結果。

上圖“天工大模型”，下圖文心一言

但是很顯然，這兩大模型給出的結果都是有問題的。

不過，在其他評測稿件中，文心一言和天工在編程能力的表現上并不差。我們認為，目前來看，這些大模型的能力還并不穩定，還需要在不斷的訓練中提高準確性。

結語

總結來看，文心一言也好，天工也罷，他們的能力相對來說，差距不大。但更多的問題在于，目前，大模型每一次生成的問題答案都存在一定的誤差。

相比于“首家”之爭，我們認為，企業們更重要的是在于提升大模型的能力和準確度，并且尋找到更多合適的場景去實現商業化。

大模型賽道愈發熱烈，誰都想做風口上的豬，但是能在風口上起飛的豬，往往都是做好了充足的準備。

此外，我們還應該多給國內科技企業更多的信心，和國外ChatGPT4相比，國內大模型還是有一定差距，但是我相信，這個差距在不遠的將來，在競爭中，都會逐漸拉小。國內大模型，未來可期。