大模型·大未來｜大模型“2024年度十大突破技術(shù)和進展”評出

紅星資本局12月25日消息，12月25日、26日，以“大模型·大未來”為主題的“2024人工智能大模型基準測試科創(chuàng)發(fā)展大會”在成都高新區(qū)舉辦。

隨著人工智能大模型快速發(fā)展，各項前沿技術(shù)不斷推陳出新，諸多高校學(xué)者正通過跨學(xué)科研究推動產(chǎn)學(xué)研用深度融合，促進大模型技術(shù)的創(chuàng)新和應(yīng)用落地。

為了更好地整合高校在大模型領(lǐng)域的優(yōu)勢資源，在此次大會上，紅星新聞發(fā)起成立了“高校大模型創(chuàng)新發(fā)展聯(lián)盟”（下稱“聯(lián)盟”），為大模型產(chǎn)業(yè)發(fā)展提供技術(shù)賦能和人才培養(yǎng)。

紅星資本局了解到，聯(lián)盟成員長期跟蹤全球的大模型前沿技術(shù)和進展，并根據(jù)這些技術(shù)和進展的突破性、影響力投票篩選出“2024年度十大突破技術(shù)和進展”。

以下是“2024年度十大突破技術(shù)和進展”：

1. 大模型推理技術(shù)

典型代表：OpenAI o1

突破點：將大模型從“聊天機器人”提升至“推理者”新層級。

產(chǎn)業(yè)影響：使大模型能夠進行多步問題求解，處理復(fù)雜推理問題。

2. 多模態(tài)生成式AI

典型代表：GPT-4V、Sora

突破點：將多模態(tài)理解和生成提升至更高水平。

產(chǎn)業(yè)影響：豐富和擴展了生成式AI內(nèi)涵（文生圖、文生視頻）。

3. 具身智能和大模型的進化

典型代表：RoboPoint、Manipulate Anything、PaLM-E、MOKA、ReKep、D3fields

突破點：大模型通過操作物理設(shè)備、感知環(huán)境變化調(diào)整策略，以實現(xiàn)自我進化。

產(chǎn)業(yè)影響：與環(huán)境交互可以讓大模型從真實世界獲得獎勵反饋，在開放決策空間實現(xiàn)自我學(xué)習(xí)和進化，有望構(gòu)建更加強大的智能體，媲美乃至在部分場景超過人類表現(xiàn)。

4. 推理時擴展法則

表現(xiàn)：性能隨推理時長提升

突破點：將擴展法則（Scaling Laws）從預(yù)訓(xùn)練、后訓(xùn)練延伸至推理時，補齊了擴展法則重要的一環(huán)，同時給大模型擴展開辟了新的方向。

產(chǎn)業(yè)影響：推動大模型從“快思考”進入“慢思考”，顯著提升了大模型求解復(fù)雜問題的能力。

5. 小語言模型

典型代表：Phi-4、MobileLLM、Mistral NeMo、Qwen2.5-3B、ALLaVA

突破點：均衡模型規(guī)模與性能。

產(chǎn)業(yè)影響：使大模型可在端側(cè)、資源受限場景下使用，有利于保護用戶隱私、減少云端推理成本，拓寬了大模型的應(yīng)用場景。

6. AI合成數(shù)據(jù)

典型代表：Hugging Face Cosmopedia v0.1、UltraFeedback

突破點：為“人類數(shù)據(jù)很快耗盡”難題提供了有效解決方案。

產(chǎn)業(yè)影響：從數(shù)據(jù)角度支撐大模型“Self-Improve”能力。

7. 基于大模型智能體的大規(guī)模社會模擬

典型代表：Oasis

突破點：將開放agent模擬數(shù)量拓展至一百萬個。

產(chǎn)業(yè)影響：將對社會模擬、數(shù)字孿生帶來深遠影響。

8. 機械可解釋性

典型代表：稀疏自編碼器（Sparse Autoencoders）

突破點：將大模型內(nèi)部組件分解成可解釋特征。

產(chǎn)業(yè)影響：透明化大模型“黑盒子”，增強大模型可信度和安全性。

9. 長窗口大語言模型

典型代表：YaRN、LongRoPE、KimiChat

突破點：將大模型的窗口拓寬至百萬甚至千萬詞元，使其可以處理更長輸入。

產(chǎn)業(yè)影響：智能體的多模態(tài)記憶可以更長，可以處理更復(fù)雜的任務(wù)，開發(fā)者可以更好地定制個性化模型。

10. 新型模型架構(gòu)

典型代表：Mamba、RWKV、Hyena、RetNet

突破點：基于參數(shù)化狀態(tài)空間模型設(shè)計，在長序列建模效率上相比Transformer架構(gòu)取得了顯著提升。

產(chǎn)業(yè)影響：為自然語言處理、語音識別、圖像建模等領(lǐng)域提供了更加靈活且高效的選擇，為未來模型的設(shè)計開辟了新的方向。

據(jù)介紹，未來，聯(lián)盟將會持續(xù)跟進和發(fā)布大模型領(lǐng)域的年度十大突破性技術(shù)和進展，這有利于國內(nèi)大模型企業(yè)和產(chǎn)業(yè)相關(guān)方對全球大模型技術(shù)的發(fā)展形成整體觀，借此制定研發(fā)策略，提前進行產(chǎn)業(yè)布局和規(guī)劃，也將推動國內(nèi)大模型原創(chuàng)性技術(shù)研發(fā)和突破。

紅星新聞記者 楊佩雯

編輯 楊程

（下載紅星新聞，報料有獎！）