小紅書(shū)作為一家社交平臺(tái)，在人工智能領(lǐng)域一直保持著低調(diào)的姿態(tài)。然而近日，小紅書(shū)發(fā)布了其首個(gè)自研大模型dots.llm1，引發(fā)廣泛關(guān)注。該模型擁有1420億參數(shù)，訓(xùn)練使用了11.2萬(wàn)億高質(zhì)量token的數(shù)據(jù)，性能堪比阿里Qwen3-32B模型。dots.llm1采用了Mixture of Experts架構(gòu)，在推理過(guò)程中僅激活140億參數(shù)，大大降低了訓(xùn)練和推理的成本。據(jù)小紅書(shū)技術(shù)團(tuán)隊(duì)介紹，此模型在中英文通用場(chǎng)景、數(shù)學(xué)、代碼、對(duì)齊任務(wù)上表現(xiàn)出色，特別是在中文任務(wù)中，CLUEWSC評(píng)測(cè)得分高達(dá)92.6分，達(dá)到業(yè)界領(lǐng)先水平。小紅書(shū)通過(guò)引入Interleaved1F1BwithAlltoAlloverlap和GroupedGEMM優(yōu)化技術(shù)，顯著提升了計(jì)算效率。隨著AI技術(shù)的不斷進(jìn)步，小紅書(shū)正積極布局大模型領(lǐng)域，力求在未來(lái)的工作中開(kāi)發(fā)出更加強(qiáng)大的模型。