2024年8月2日，中文多模態(tài)大模型SuperCLUE-V基準(zhǔn)8月榜單發(fā)布，騰訊混元大模型憑借其在多模態(tài)理解方面的卓越表現(xiàn)，在眾多參評模型中脫穎而出，斬獲國內(nèi)大模型排名第一，穩(wěn)居卓越領(lǐng)導(dǎo)者象限。 多模態(tài)理解是大模型理解復(fù)雜現(xiàn)實世界的關(guān)鍵能力之一，俗稱“圖生文”，要求模型能準(zhǔn)確識別圖像元素，理解它們的關(guān)系，并生成自然語言描述。這既考驗圖像識別的精確度，也體現(xiàn)了對場景的全面理解、對細(xì)節(jié)的深度洞察，考驗?zāi)Ｐ蛯?fù)雜現(xiàn)實世界的理解力。 本次測評涵蓋了國內(nèi)外最具代表性的12個多模態(tài)理解大模型，包含4個海外模型和8個國內(nèi)代表性多模態(tài)模型，評估內(nèi)容包含基礎(chǔ)能力和應(yīng)用能力兩大方向，以開放式問題對多模態(tài)大模型進(jìn)行評估。騰訊混元大模型在多模態(tài)基礎(chǔ)能力和應(yīng)用能力方面，獲得總分71.95的高分，顯示出在技術(shù)和應(yīng)用層的綜合優(yōu)勢。據(jù)SuperCLUE官方介紹，評估標(biāo)準(zhǔn)涵蓋了理解準(zhǔn)確性、回應(yīng)相關(guān)性和推理深度等維度，打分規(guī)則結(jié)合了自動化定量評分與專家復(fù)核，以確保評估的科學(xué)性和公正性。 評測結(jié)果顯示，國內(nèi)大模型在多模態(tài)理解的基礎(chǔ)能力方面，已經(jīng)逼近海外頂尖模型，其中騰訊混元大模型總成績僅略低于GPT-4o，表現(xiàn)好于Claude3.5-Sonnet和Gemini-1.5-Pro，顯示國產(chǎn)模型在基礎(chǔ)能力上的快速迭代。而在應(yīng)用能力維度上，騰訊混元大模型憑借對中文語境的深刻理解，以及在通用、常識、圖像等多領(lǐng)域的綜合能力，展現(xiàn)出實際應(yīng)用的巨大潛力。 依托騰訊混元大模型的技術(shù)底座，AI原生應(yīng)用騰訊元寶在發(fā)布之初，就具備多模態(tài)理解能力，無論是文檔截圖、人像風(fēng)景、收銀小票，還是任意一張隨手拍的照片，元寶都能基于圖中內(nèi)容給出自己的理解和分析。騰訊公司副總裁蔣杰此前表示，對于騰訊混元大模型來說，多模態(tài)是一道“必答題”，目前混元大模型正在積極部署從多模態(tài)到全模態(tài)的技術(shù)，用戶將很快可在騰訊元寶App、騰訊內(nèi)部業(yè)務(wù)及場景中體驗，同時會通過騰訊云向外部應(yīng)用開放。 目前，騰訊混元大模型已擴展至萬億級參數(shù)規(guī)模，在國內(nèi)率先采用混合專家模型（MoE）結(jié)構(gòu)，依托騰訊大語言模型的能力，多模態(tài)理解能力不斷提升，達(dá)到國內(nèi)領(lǐng)先水平。