騰訊正式發布向量數據庫，用于大模型訓練

今日，騰訊云正式發布向量數據庫Tencent Cloud VectorDB，預計8月上線騰訊云官網。

騰訊介紹道，該數據庫能夠被廣泛應用于大模型的訓練、推理和知識庫補充等場景，是國內首個從接入層、計算層、到存儲層提供全生命周期AI化的向量數據庫。

據了解，該數據庫面向大模型訓練，可以讓企業原先花一個月時間才能完成的大模型接入，縮短到三天時間。

大模型的“黃金搭檔”

什么是向量數據庫？

向量數據庫是一種專門用于存儲、 管理、查詢、檢索向量的數據庫，可以把復雜的非結構化數據通過向量化，處理統一成多維空間里的坐標值。

目前，向量數據庫主要應用于人工智能、機器學習、數據挖掘等領域。

具體來看，向量數據庫被廣泛地用于大模型訓練、推理和知識庫補充等場景：支撐訓練階段海量數據的分類、去重和清洗，給大模型的訓練降本增效；通過新數據的帶入，幫助大模型提升處理新問題的能力，突破預訓練帶來的知識時間限制，避免大模型出現幻覺；提供一種私有數據連接大模型的方式，解決私有數據注入大模型帶來的安全和隱私問題，加速大模型在產業落地。

簡而言之，向量數據庫可以解決大模型預訓練成本高、沒有“長期記憶”、知識更新不足、提示詞工程復雜等問題，突破大模型在時間和空間上的限制，加速大模型落地行業場景。

據第三方調研數據預測，全球向量數據庫到2030年預計將迎來超過500億美元的市場。國內也將以每年超過20%的速度在增長。目前全球已有的向量數據庫產品主要包括 Pinecone、Milvus、Weaviate、Vespa 、Tencent Cloud VectorDB等。其中，超過一半的向量數據庫具有云化部署的能力。

提供10億級向量檢索能力

據介紹，騰訊云向量數據庫最高支持10億級向量檢索規模，延遲控制在毫秒級，相比傳統單機插件式數據庫檢索規模提升10倍，同時具備百萬級每秒查詢（QPS）的峰值能力。

具體而言，騰訊發布的向量數據庫有以下特點。

一是高性能向量存儲、檢索。騰訊云向量數據庫具備高性能的向量存儲和檢索能力，單索引能夠輕松支持10億級別的向量規模。在分布式彈性擴展的架構下，單實例可支持百萬級別QPS，AI場景下向量檢索的P99響應延遲可控制在20ms以內，能夠覆蓋絕大多數AI場景對向量存儲和檢索的業務需求。

二是可視化數據管理。在向量存儲、檢索能力之上，騰訊云向量數據庫還提供了可視化的數據管理界面，進一步降低向量數據庫的接入和使用門檻。用戶可以通過控制臺進行數據庫、集合層面的數據管理，還可以快速執行向量檢索等常用操作。此外，騰訊云向量數據庫還提供了可視化的數據上傳能力，幫助用戶快速構建專屬知識庫。

三是一站式向量檢索方案。為了進一步提升產品的易用性，騰訊云向量數據庫會提供一站式的向量檢索方案，實現從文本輸入到文本搜索的端到端檢索能力，用戶可以直接上傳.pdf、.txt等原始文本文件，通過平臺自動化地執行文本分割、embedding向量化，全托管地完成知識構建和檢索任務。

騰訊官方信息稱，使用騰訊云向量數據庫后，企業接入大模型需要花費的時間，能從一個月降低至三天左右，極大降低企業的接入成本。

在具體落地應用層面，騰訊方面表示，該向量數據庫目前已經應用在騰訊視頻、QQ瀏覽器、QQ音樂等30多款騰訊內部產品之中。

數據顯示，使用騰訊云向量數據庫后，QQ音樂人均聽歌時長提升3.2%、騰訊視頻有效曝光人均時長提升1.74%、QQ瀏覽器成本降低37.9%。

騰訊方面表示，在未來“向量數據庫+大模型+數據”將產生“飛輪效應”，共同助力企業步入AI Native（AI原生）時代。