隨著人工智能技術(shù)的飛速發(fā)展，“大模型設(shè)計(jì)”正迎來前所未有的變革。近日，華人研究員朱澤園在Meta公司提出了一種名為“Canon層”的輕量級(jí)結(jié)構(gòu)，為大模型推理能力的提升提供了新的可能。朱澤園表示，這項(xiàng)研究如同“伽利略時(shí)刻”，揭示了大模型架構(gòu)的真正極限，或?qū)⒅匦露x大模型的研究方向。該研究不僅提升了無位置編碼模型的性能，還顯著降低了對(duì)旋轉(zhuǎn)位置編碼的依賴，增強(qiáng)了模型的長程泛化能力。通過在多種架構(gòu)中應(yīng)用Canon層，研究人員發(fā)現(xiàn)其能夠顯著提升模型的推理深度和廣度，從而實(shí)現(xiàn)更高效的信息流動(dòng)和更深層次的推理。這一突破性進(jìn)展有望推動(dòng)大模型訓(xùn)練流程的持續(xù)進(jìn)步，開啟人工智能領(lǐng)域的全新篇章。