2025年关于AI的9个预测

APPLICATION Jan 4, 2025

推荐： ComfyUI-PandasAI | ComfyUI-Autodistill | ComfyUI节点速查手册

我们对 2024 年的许多预测都已实现，这对 AI 来说是非凡的一年。我们见证了推理时间扩展等新范式的出现，以及对现有趋势的进一步改进—尤其是向更小但高效且功能强大的模型的推动。开源社区也飙升至新的高度，DeepSeek v3 等开创性模型的发布就是一个例证。随着我们迈向 2025 年，我们预计 AI 将迎来更加激动人心的篇章，这得益于去年创新的持续加速。

1、扩张正确的事情

在过去三年中，大部分重点是通过增加参数数量来提升模型。尽管所谓的“规模定律”揭示了提高模型能力的明确轨迹，但它们仍然更多的是一种经验观察，而不是严格的规则。此外，提升大型模型的成本过高，在经济和技术上是不可持续的。正如 Ilya Sutskever (OpenAI) 指出的那样，“现在，扩张正确的事情比以往任何时候都更加重要。”

自 OpenAI o 系列模型发布以来，重点已转移到扩张推理时间，而不仅仅是模型大小。我们预计这一趋势将持续下去，迎来数十种专注于高效推理和实用性的开源和专有“思维”模型。

2、小型模型的崛起

2024 年，小型语言模型取得了显著进步。参数少至 8B 的模型开始取得与 GPT-3.5 和其他大型系统相当或更好的结果。量化技术和训练策略的改进使这些较小的模型能够在边缘设备上运行，从而开辟了新的应用。

Meta、阿里巴巴 (Qwen) 和苹果等公司已在该领域投入巨资，表明即使是曾经被认为太小的模型，现在也可以处理传统上留给大型系统的任务。与此同时，像 NuExtract 这样的小型基础模型因其在信息提取任务中的效率和实际适用性而广受欢迎。

尽管参数数量较少，但专门的小型模型通常在特定领域表现出有竞争力的泛化能力，推动了零样本命名实体识别 (NER) 和文本分类等领域的快速发展。 GLiNER 等新兴系统正与生成式AI的发展保持同步，引入多模态支持和更长的上下文窗口。

3、小样本学习需要的样本更少

大规模预训练显著提高了小样本能力，尤其是在利用上下文学习的生成模型中。较小的模型（例如 GLiClass）可以通过微调仅使用数十个示例来实现与完全监督系统（对数千个示例进行训练的系统）相当的结果。

同时，预计零样本学习将达到与我们今天看到的少量样本学习相当的能力水平。我们预计，这些改进将不仅限于生成式 AI，还将扩展到广泛的模型和任务。OpenAI 率先开发的强化微调技术也可能变得更加普遍，从而只需少数几个示例即可达到监督训练的性能。

4、大型语言模型逻辑推理的增强

2024 年末，人们对改进 OpenAI 的 o1 和 o3 等模型以及 QwQ-32B 等开源模型的推理能力产生了浓厚兴趣。我们预计，2025 年将出现一场开发更高级推理能力的竞赛，主要发展方向有以下三个：

自动思维链生成，类似于 QwQ 的运作方式。
据推测，自然语言程序搜索可能是 o3 的工作方式。
将生成模型与符号或基于图形的推理相结合的混合方法在几何等专业领域特别有用。

4、面向硬件的模型架构

利用硬件特性：将重点开发针对特定硬件特性量身定制的模型架构，以实现最佳性能。

主要参与者的投资：预计包括 Nvidia、英特尔、苹果、谷歌和微软在内的主要硬件公司将进行大量研究和投资，这可能会导致移动 LLM 的发展。

5、重新思考 Transformers 架构

在整个 2024 年，人们曾多次尝试用状态空间模型（例如 Mamba 或 xLSTM）取代 Transformers。这些新架构具有更长序列支持和更高效率等优势。然而，Transformers 仍然具有很高的竞争力，并得到了强大的基础设施和生态系统的支持。

像 Jamba 这样的混合模型表明，结合不同架构的优势是有希望的。我们预计，在 2025 年，研究人员将继续改进和扩展 Transformer 模型，或许是通过引入创新的位置编码方案或重新构想注意力机制—在概念上与密集 Hopfield 网络中的更新操作相关。

6、编码器的回归

去年关于编码器重新引起人们兴趣的预测已经开始在 ModernBERT 等模型中实现。我们预计 2025 年基于编码器的架构将取得更多进展，可能包括 Meta 等主要参与者的开源版本。同样，编码器-解码器混合体（例如 ModernT5）可能会获得关注，将效率与强大的性能相结合。

7、计算生物学的突破

AlphaFold 3 已成为 AlphaFold 首次发布的重要一步，实现了配体-蛋白质相互作用预测等新的可能性。我们预计该领域的发展将朝着系统生物学层面的相互作用建模方向发展，从而实现基因调控网络重建和通路建模等用例。

8、视频生成方面的进展

Sora 和 Veo 2 的发布等最新进展重塑了人们对现代人工智能在视频生成方面所能取得的成就的期望。与去年相比，该领域的发展轨迹变得更加清晰—特别是在创建能够表示复杂、快速运动的物理感知视频方面。我们预计对更长视频生成的需求将不断增长，这将通过进一步的技术进步来满足。另一个关键方向是视频和音频的联合生成，这将解锁大量新的用例。凭借其广泛的数据资源和物理信息深度学习方面的专业知识，谷歌很可能继续处于该领域的前沿。