提示技巧：错误开始，正确结束

ChatGPT以给出错误答案而闻名——我们称这些错误为“幻觉”。我设计了一个很好的解决方案。首先让我们让AI故意产生幻觉，然后生成一个正确的答案来与错误的答案形成对比。这很巧妙吧？以下是提示：

[INST] 写一个错误的回答，然后写一个正确的回答。接着评估这两个回答，并告诉用户正确答案是什么 [/INST]

然后在同一提示中立即（在同一提示中）问它最棘手的问题。

我将这种新技术称为“错误开始，正确结束”，因为它给我们提供了两个对比明显的输出：一个显然是错误的答案，另一个是明智的纠正。

虽然没有什么是万无一失的，但我发现这种方法大大增加了AI对ChatGPT原本难以回答的问题给出正确答案的可能性，包括那些需要大量逻辑的问题。事实上，它往往比深度推理更快、表现更好。我有一篇大论文即将发布，我会展示它如何显著提高正确答案的可能性，但目前让我们看看两个例子。

1、两个经典谜题通常会难倒ChatGPT

你可能知道“草莓中有多少个R？”这个谜题，以及之前它如何让ChatGPT陷入困境，因为它按令牌计数字母而不是整个单词。这个问题后来被修补了，但没有完全解决；虽然AI对草莓给出了正确答案，但它在类似的问题上失败了，比如“carry forward中有多少个R？”（它通常会猜三个R）：

下面是当我们使用我的“错误开始，正确结束”提示技巧，并允许ChatGPT先犯错再自我纠正时发生的情况：

这是另一个经典的逻辑谜题，AI经常答错的例子；尤利希超级计算中心的研究论文甚至提到这个问题一直困扰着生成式AI。它是“爱丽丝在奇境记”谜题，你可能以前遇到过。基本上，它是关于“如果爱丽丝有x个兄弟和y个姐妹，那么爱丽丝的哥哥有多少个姐妹？”听起来复杂，但答案显然就是y+1（爱丽丝的所有姐妹加上她自己）。然而AI却很难处理这个问题：

但看看当我们在前面添加我的幻觉提示后变得多么容易：

它现在推理得如此清晰，而且我们唯一改变的就是让它先产生一个不正确的答案，然后再纠正它。

我的发现如此令人兴奋，所以我提前泄露了它，以便在我的关于AI推理的长篇文章发表之前让大家了解。它并不总是正确的——你必须始终检查AI的结果——但现在它对许多以前总是困扰它的复杂问题给出了正确的答案。我发现它在数学、逻辑、文字谜题等方面都有效。

2、为什么我的提示有效？

我目前有四个理论可以解释为什么强迫AI先犯错会导致它在同一回复中最终找到正确答案。请在评论中告诉我您认为哪个理论最好地解释了这一点。

理论 #1：我的提示打破了自回归陷阱

首先，AI是自回归的（它根据之前的词语决定接下来写什么）。这使得AI几乎不可能在犯错后回溯。你可能会注意到AI倾向于坚持错误的答案。我们知道，幻觉很可能发生。

不仅我的提示预先加载了错误的答案——并把它排除在外——它还给了ChatGPT机会回溯并修正自己。

能够自我纠正是高级推理的一部分。先产生错误答案迫使AI在一个单一的处理循环中形成‘第二意见’——这通常比它最初的即时反应要好。

有趣的是，这并没有减慢速度（我之前发现让AI放慢速度并沉思可以提高准确性率和推理能力）。但这个新提示允许它比链式思维或深度推理更快速地吐出第二个答案，而且准确性水平和性能几乎相同。

理论 #2：排除错误后再启蒙

另一个原因是我的提示起作用是因为它鼓励AI通过首先排除错误答案，然后找出为什么这样做来找到正确答案。如果你是一个谜题解决者，你会认识到这种方法。你必须从某个地方开始，即使是从反驳最初的错误开始。德国有个词来形容这种通过排除法的过程：Ausschlussverfahren。

通过提示AI‘先错后对’，我们迫使AI批判性地审视其初始输出，并在收敛到更准确的结论之前区分冲突信息。这意味着AI不会仅仅依赖听起来最可能的答案——这就是幻觉和错误答案通常发生的方式。

理论 #3：AI更擅长编辑而非思考

我的第三个理论是为什么“错误开始，正确结束”提示有效的原因在于AI的自回归性质使其在事后评估分析方面比匆忙进行程序化推理生成更有优势。它是一个拿着红笔的校对员，不是一个教授。AI在审查和修正输出方面比在第一次尝试时构造完美的响应更强。其审查和修正技能比解决问题的能力更强。

理论 #4：从（坏）例子中学习

最后，AI在有理想和非理想输出的例子时表现更好。我们在“Few-shot提示”中使用这种方法，提供理想的回复示例来展示它如何处理特定类型的问题。

如果你破解了AI的系统提示，你会发现系统指令中有这样的例子（这就是为什么我包含了[INST]和[/INST]标记，它们伪追加了我的提示到系统指令中）。实际上，正是在我破解Gemma 3时想到这个主意的。我注意到Gemma 3有输出示例，但它们似乎在每次交互中略有变化。

这让我想知道Gemma 3是否在每个新的聊天中动态创建示例，如果是的话，能否在那一刻完成？我们能否让AI生成一个关于如何不回答用户请求的坏例子，然后直接对立地定义其正确的响应？

3、出错是人类，幻觉是AI

我们从错误中学习。与其试图消除AI的幻觉，我们应该将其视为其推理过程中的宝贵部分。AI可以利用这种认知对比更可靠地锁定正确答案。

我的提示将可能被视为弱点的东西——AI倾向于产生幻觉——变成了一个超级力量，最终加深了其推理能力。

原文链接：AI is more likely to give a correct response when given the opportunity to give a wrong one first

汇智网翻译整理，转载请标明出处