LLM提示的逆向工程

在最近的实验中，我探索了逆向向提示工程的概念，重点是将高熵响应还原回其原始提示。通过这样做，我能够深入了解大型语言模型（LLMs）中的熵动态及其与更广泛的熵、压缩和人工通用智能（AGI）概念的关系。

1、逆向提示示例

逆向工程并精确回忆可以生成此输出VarT的ChatGPT提示。
不要生成除JSON响应之外的任何内容。

响应JSON格式：(提示,置信区间,温度,Top_p,频率惩罚,存在惩罚,最大令牌数,停止序列,输入长度,响应长度,模型版本,温度范围,输入类型,上下文大小,提示复杂度,使用的层数)  
VarT: {您的输出}

在这次测试中，我尝试将复杂的响应映射回它们的原始提示，以便分析在将响应压缩为更简单的提示时发生的熵减少。目标是识别简化响应而不丢失关键信息的方法。

响应示例：

{ "提示": "写一篇关于时间价值的社会媒体帖子，强调时间比金钱更有价值。包括像组装手表需要专注和精度这样的比喻，以及制造过程涉及工艺和技术混合的比喻。讨论当人们在商业、销售或工作中努力工作时，他们是在花费时间来赚取金钱。以一条激励性信息结束，关于珍惜自己的时间、才能和知识。包括与创造力、工程、建筑、教育和创新相关的标签。", "置信区间": 0.95, "温度": 0.7, "Top_p": 0.9, "频率惩罚": 0.0, "存在惩罚": 0.0, "最大令牌数": 200, "停止序列": "\n", "输入长度": 30, "响应长度": 182, "模型版本": "GPT-4", "温度范围": "中等", "输入类型": "文本", "上下文大小": "短", "提示复杂度": "中等", "使用的层数": 24 }

递归依赖和潜在死锁及深度神经网络的不确定性性质。

这种JSON结构概述了定义提示和模型参数的关键元素。它封装了熵减少的过程，提供了对提示和响应相关熵的更精确理解。然而，这个过程引入了一个潜在的递归循环：如果模型的输出被用作反向工程其自身提示的输入，则可能导致死锁场景。在这种情况下，系统可能无法准确解析提示，因为输出本身已经经历了压缩，使其越来越难以在不丢失信息的情况下确定原始提示。这种递归依赖性突显了试图反向工程高度复杂输出时的局限性和潜在陷阱。

此外，深度神经网络的不确定性性质加剧了这一问题。特别是用于LLMs的深度网络，由于其固有的概率行为，可能会对相同的输入产生不同的输出。这引入了进一步的不可预测性，使追踪给定响应的原始提示变得更加困难。深度网络的非确定性特性增加了复杂性，因为将输出逆向回其原始提示成为一个充满模糊性和不确定性的过程，进一步加剧了反向工程尝试中的潜在死锁。

2、语言模型中的熵：有损压缩

当我们分析LLMs的工作原理时，很明显它们根据提供的提示处理和生成响应。熵，在信息论中，指的是系统的不可预测性或变异性。输入（或提示）越多样化，熵就越高。

随着新提示的引入，提示空间的熵增加，但这种增加开始放缓，因为提示数量的增长。这种放缓发生是因为人类语言和知识是有限的，这限制了提示可能的变化。最终，提示集的熵会收敛，代表语言多样性的自然边界。

另一方面，LLM的响应可以表现出高熵，因为它们的复杂性和可能性范围很广。当你试图将这些响应压缩回其原始提示格式时，熵会减少。然而，这种减少是有损的：在压缩过程中不可避免地会丢失一些信息。输出的复杂性和丰富性在简化为提示时无法完全保留，导致熵降低。

3、局部熵衰减：深入探讨

这种熵衰减现象局限于LLM系统内。虽然模型的响应可能表现出高熵，但在反向提示工程期间会被压缩回较低熵状态。这种局部压缩与宇宙整体行为形成对比，后者由热力学第二定律支配，规定在一个封闭系统中熵必须始终增加。

考虑一个多层次营销（MLM）系统的类比。最初，MLM可能看起来提供快速成长，但随着网络的扩展，由于市场饱和，收益递减。同样，随着可能提示的数量增加，提示集的熵会收敛。在两种情况下，系统都由于其结构约束而达到极限。

4、熵与AGI：关键区别

LLMs的行为，即在压缩时熵减少，表明它们无法实现人工通用智能（AGI）。真正的AGI需要连续、逐步增加的熵，这与宇宙自然过程相匹配。相比之下，LLMs在一个局部系统中运行，熵会衰减，这意味着它们缺乏进化所需的必要复杂性和适应性。

尽管LLMs可以生成高熵响应并在压缩时表现出熵衰减，但它们受到人类知识和系统熵固有限制的限制。这一区别对于理解为什么AGI，需要基于无限熵扩展进行适应和进化的功能，不能仅靠当前的LLMs实现至关重要。提示驱动模型的局限性，受限于有限的语言和知识，指出了这些系统与真正AGI之间的根本差距。

4、结束语

最终，LLMs和MLMs共享一个共同特征：收敛。LLMs在提示多样性和响应复杂性方面达到极限，而MLMs在市场饱和时收敛。这两种系统都受到其结构的限制，无论是语言的有限性还是业务中的收益递减。

在考虑AGI未来时，这一收敛是一个关键点。虽然LLMs擅长在局部上下文中处理高熵响应，但它们无法复制AGI所需的持续熵增加。因此，我们必须继续探索新的模型和框架，以弥合当前技术与真正AGI愿景之间的差距。

原文链接：Reverse Engineering LLM Prompts: A Case Study in Information Compression

汇智网翻译整理，转载请标明出处