同時完成阿里云領(lǐng)投新一輪融資,李開復(fù)AI公司發(fā)布首款雙語大模型
11月6日,李開復(fù)AI公司零一萬物宣布首款開源中英雙語大模型“Yi”正式發(fā)布。同時,零一萬物完成了新一輪融資,由阿里云領(lǐng)投。零一萬物目前估值已超10億美元,成為新晉獨(dú)角獸。
李開復(fù)親自籌組的大模型新公司零一萬物于今年7月正式官宣亮相,由原百度副總裁馬杰擔(dān)任法人,創(chuàng)新工場創(chuàng)新工場首席市場官及運(yùn)營合伙人黃蕙雯擔(dān)任002號員工,聯(lián)創(chuàng)團(tuán)隊(duì)成員包含前阿里巴巴副總裁、前滴滴/百度首席算法負(fù)責(zé)人、前谷歌中國高管、前微軟/SAP/Cisco/副總裁,算法和產(chǎn)品團(tuán)隊(duì)背景均來自國內(nèi)外大廠。
11月2日,Yi在Hugging Face低調(diào)上傳了兩個參數(shù)規(guī)模分別為6B和34B的基礎(chǔ)模型。截至11月5日,Yi-34B在Hugging Face LLM Leaderboard(pretrained)(預(yù)訓(xùn)練大語言模型)和中文大模型榜單C-Eval排行榜2個榜單中均快速上升至首位。目前,Yi擁有200K上下文窗口,可處理約40萬字的文本(目前全球大模型中最長的上下文窗口)。
Yi的訓(xùn)練數(shù)據(jù)主要來源于公開語料的爬取和數(shù)據(jù)庫。測試結(jié)果顯示,Yi-6B在常識推理能力和閱讀理解能力上達(dá)到了國內(nèi)外開源模型的平均水平,但在數(shù)學(xué)與代碼能力上還較弱。Yi-34B在常識推理能力和閱讀理解能力上均大幅領(lǐng)先國內(nèi)外開源模型,在數(shù)學(xué)與代碼能力上處于領(lǐng)先水平。
據(jù)了解,零一萬物現(xiàn)已啟動100B以上參數(shù)規(guī)模的模型訓(xùn)練,同時多模態(tài)大模型團(tuán)隊(duì)已經(jīng)召集了十多個人。李開復(fù)透露“Yi”的定位是通用底座,同時,Yi系列量化版本、對話模型、數(shù)學(xué)模型、代碼模型、多模態(tài)模型將以快節(jié)奏推出,具體進(jìn)展在幾周之內(nèi)就會有新的發(fā)布。