Software 2.0

Marco-o1开源推理模型

admin -

OpenAI-o1 是一个革命性的版本，它使 LLM 能够对数学或物理问题等复杂任务进行详细推理，而不仅限于通用文本生成。

但 OpenAI-o1 是付费的。

正如预期的那样，开源竞争对手并不遥远，阿里巴巴（继 Qwen 系列之后）最近又推出了 Marco-o1。

1、阿里巴巴的 Marco-o1 是什么？

Marco-o1 旨在通过采用蒙特卡洛树搜索 (MCTS) 和思维链 (CoT) 微调等先进技术来解决复杂的推理任务。它的主要重点是为开放式问题生成多种解决方案，而不是满足于单一答案，这更接近于类似人类的推理过程。

Marco-o1 不只是为具有明确答案的科目而构建的，例如数学、物理或编码——在这些科目中，使用强化学习 (RL) 可以轻松衡量成功。它还专注于解决没有固定规则或明显判断成功方法的开放式问题

例如：

想象一下 Marco-o1 是一个超级聪明的问题解决者。大多数模型（如数学、物理或编码）擅长解决有固定答案的问题——例如“2+2 等于多少？”或“我该如何修复这个代码？”这些问题很简单，因为我们知道它们何时正确何时错误。

但 Marco-o1 超越了这一点。它还试图解决混乱的开放式问题，例如“我们如何让世界更快乐？”或“讲述这个故事的最佳方式是什么？”这里没有单一的“正确”答案，很难确切地说出答案的好坏。

主要特点

  • 开放式推理：与传统的以明确答案为目标的模型不同，Marco-o1 探索各种潜在的解决方案，使其对于模糊或复杂的查询特别有效
  • 蒙特卡洛树搜索 (MCTS)：这种技术允许模型评估解决方案的多种可能路径，类似于国际象棋选手在做出决定之前考虑不同的动作。MCTS 有助于在探索新可能性与利用已知成功策略之间取得平衡
  • 思维链微调：通过利用现有数据集和自生成的合成数据的组合，Marco-o1 通过结构化推理步骤提高了处理复杂任务的能力
  • 反思机制：该模型包含一个自我反思组件，提示它在生成答案后重新评估其推理，从而增强其解决问题的能力

2、Marco-o1 工作原理

https://huggingface.co/AIDC-AI/Marco-o1
数据集来源（上部）

该模型在三个数据集上进行训练：

  • Open-o1 CoT 数据集（已过滤）：带有思路链 (CoT) 注释的精炼数据集。
  • Marco-o1 CoT 数据集（合成）：为增强学习而创建的合成数据。
  • Marco-o1 教学数据集：专注于教学提示的数据集。

这些数据集组合起来并用于监督微调，以提高模型的推理和响应能力。它基本上使用 Qwen2–7B 模型作为在上述数据集上进行微调的基础。

推理过程（下部）

在推理过程中（当模型生成答案时）：

MCTS（蒙特卡洛树搜索）：

  • 使用树结构逐步探索可能的答案。
  • 节点代表不同的推理路径。
  • 选择黄色节点进行进一步探索。
  • 绿色节点显示最终答案。
  • “选择”和“备份”等箭头显示了系统如何评估和优化选择。

行动策略：该模型可以在两个层面上运作：

  • 步骤级别：高级推理（大局）。
  • 小步骤级别：详细、较小的推理步骤。

置信度得分：

  • 生成答案后，模型使用概率（公式中显示）计算对结果的信心程度。
  • 置信度值有助于优化最终输出。

3、性能和指标

除了英语和中文的 MGSM（多语言小学数学）外，没有报告太多比较指标

  • MGSM 数据集（英语）：Marco-o1 的准确率提高了 6.17%。
  • MGSM 数据集（中文）：该模型的准确率提高了 5.60%。
语言翻译中的佼佼者

在翻译任务中，Marco-o1 证明了其处理俚语和日常语言的技能。例如，它可以将“这件衣服太炸了”（字面意思是“这件衣服太炸了”）翻译成“这件衣服太棒了”，显示出它理解和传达口语化细微差别的能力。下图更好地解释了这一点：

4、如何使用 Marco-o1？

直接进入 HuggingFace，一切都已为你准备就绪。只需设置你的 HF_TOKEN（读取令牌，可自由创建）并使用以下代码开始：

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("AIDC-AI/Marco-o1")
model = AutoModelForCausalLM.from_pretrained("AIDC-AI/Marco-o1")

总而言之，阿里巴巴的 Marco-o1 是 OpenAI-o1 的开源替代品，在复杂推理和开放式问题解决方面表现出色。具有 MCTS、CoT 微调等功能，

和自我反思，它可以有效地处理诸如翻译和模糊查询等细微任务。虽然更多的性能基准会加强它的作用，但 Marco-o1 的可访问性和实际应用使其成为高级推理任务的有前途的工具。

原文链接：Alibaba Marco-o1 : Open-source alternative for OpenAI-o1

汇智网翻译整理，转载请标明出处