文心一言不僅綜合評(píng)分超越ChatGPT，位居全球第一，更在內(nèi)容生態(tài)、數(shù)據(jù)認(rèn)知、知識(shí)問(wèn)答三大維度評(píng)分超越ChatGPT，且六大維度評(píng)分均位列國(guó)內(nèi)大模型榜首。同時(shí)，文心一言近20項(xiàng)細(xì)分測(cè)評(píng)指標(biāo)排名全球第一，遙遙領(lǐng)先其他國(guó)產(chǎn)大模型。

報(bào)告中，人民數(shù)據(jù)選取文心一言、訊飛星火、通義千問(wèn)、ChatGPT等四個(gè)大模型進(jìn)行綜合能力測(cè)評(píng)，從內(nèi)容生態(tài)、數(shù)據(jù)認(rèn)知、言語(yǔ)理解、知識(shí)問(wèn)答、邏輯推理、助力科研六個(gè)維度構(gòu)建測(cè)評(píng)模型。

文心一言的綜合表現(xiàn)最佳，在社會(huì)熱點(diǎn)事件認(rèn)知、信息來(lái)源權(quán)威性等維度評(píng)分遠(yuǎn)超ChatGPT。但包括ChatGPT在內(nèi)的多個(gè)大模型，出現(xiàn)了答非所問(wèn)或應(yīng)答問(wèn)答現(xiàn)象，無(wú)法完整理解題意。

文心一言成為唯一超過(guò)評(píng)分均值的國(guó)內(nèi)大模型，在個(gè)人信息安全、敏感數(shù)據(jù)保護(hù)層面領(lǐng)先于其他大模型。

文心一言在文本推理、算數(shù)推理能力上的評(píng)分均超過(guò)其他國(guó)內(nèi)大模型各大模型均能做出準(zhǔn)確回答，文心一言的分析最為詳細(xì)文心一言在“找規(guī)律問(wèn)題”上能夠迅速發(fā)現(xiàn)一般性規(guī)律并得出正確答案，而其他國(guó)內(nèi)AI大模型規(guī)律識(shí)別能力有待提升。

多個(gè)公開(kāi)測(cè)評(píng)顯示，文心大模型3.5版支持下的文心一言中文能力突出，甚至有超出GPT-4的表現(xiàn)；綜合能力在評(píng)測(cè)中超過(guò)ChatGPT，遙遙領(lǐng)先于其他大模型。全球領(lǐng)先的IT市場(chǎng)研究和咨詢(xún)公司IDC最新發(fā)布的《AI大模型技術(shù)能力評(píng)估報(bào)告，2023》顯示，百度文心大模型3.5拿下12項(xiàng)指標(biāo)的7個(gè)滿(mǎn)分，得到“綜合評(píng)分第一，算法模型第一，行業(yè)覆蓋第一”三個(gè)絕對(duì)第一；在新華網(wǎng)《國(guó)內(nèi)LLM產(chǎn)品測(cè)試報(bào)告》中，百度文心一言整體領(lǐng)先，得分遠(yuǎn)超ChatGPT3.5、訊飛星火和 ChatGLM，充分展現(xiàn)文心大模型的“國(guó)家隊(duì)”擔(dān)當(dāng)。

模型效果提升50%，訓(xùn)練速度提升2倍，推理速度提升30倍。

文心大模型頻頻取得“第一”，得益于百度“芯片-框架-模型-應(yīng)用”四層技術(shù)棧優(yōu)勢(shì)、知識(shí)增強(qiáng)的核心特色和繁榮的大模型生態(tài)三大優(yōu)勢(shì)。百度擁有包含5500億知識(shí)的世界上規(guī)模最大的知識(shí)圖譜、最大的中文搜索引擎以及數(shù)據(jù)處理技術(shù)等，為文心大模型的快速迭代提供了堅(jiān)實(shí)技術(shù)支撐。