企业利用生成式AI的正确方法

许多组织最常见的幻灭感如下：他们对 ChatGPT 或 Microsoft Co-Pilot 的生成式 AI 感到兴奋，阅读了一些关于 AI 如何“以某种方式改善你的业务”的文章，然后尝试寻找可以应用聊天机器人的其他用例，最终当结果并不令人满意时感到失望。然后，到了论证阶段。我经常听到这样的话：“模型不够好”或“我们需要提高人们的技能，以编写更好的提示。”

在 90% 的情况下，这些都不是正确的结论，而是来自我们在聊天机器人中思考的问题。我已经为三人组织到拥有三十多万名员工的全球企业开发了三十多个生成式 AI 应用程序，我到处都看到这种模式。

有成千上万的公司告诉你，你需要“某种聊天机器人解决方案”，因为每个人都这样做。 OpenAI 的 ChatGPT、Microsoft Copilot、Google 的 Gemini 以及所有其他向你销售聊天机器人的公司都在打破创建聊天机器人的初始障碍方面做得很好。但让我告诉你：75% 的真正痛苦问题可以通过生成式AI解决，但聊天机器人无法解决这些问题。

我经常看到经理、项目主管或其他决策者从这样的想法开始：“我们这里有一些带有人工智能的产品，可以让我们构建聊天机器人——让我们找到尽可能多的地方来实现它。”根据我的经验，这是错误的方法，因为你是从解决方案开始，并试图将现有问题融入其中。正确的方法是研究问题、分析问题，然后找到合适的人工智能解决方案。聊天机器人可能是某些用例的良好界面，但将每个问题都强加到聊天机器人中是有问题的。

在本文中，我将分享我通过构建无数应用程序的实践经验所获得的见解和方法。这些应用程序现已投入生产并为数千名用户提供服务，它们塑造了我对构建有影响力的生成式AI解决方案的思考——而不是盲目追随潮流，如果不起作用就会感到失望。

1、首先考虑你的流程，其次才是聊天机器人

我告诉你不要从聊天机器人开始思考，那么你应该从哪里开始呢？答案很简单：业务流程。

公司内部发生的一切都是业务流程。业务流程是连接到工作流 [1] 的不同活动（“工作单元”）、事件（例如错误）和网关（例如决策）的组合。有用于以众所周知的图表形式建模业务流程的工具 [2]，以及围绕分析和改进业务流程的整个研究学科 [3][4][5]。业务流程管理是一个很好的工具，因为它不是理论上的，而是在公司中随处可见——即使他们不知道该怎么称呼它。

让我举个例子。假设你是一家为银行进行房地产估价的公司。在银行发放抵押贷款之前，他们会要求房地产估价师估算该物品的价值，以便他们知道如果无法偿还抵押贷款，他们可以获得实际价格。

创建房地产估价报告是一个大型业务流程，我们可以将其分解为子流程。通常，估价师会亲自开车到房子，拍照，然后坐在那里写一份 20-30 页的报告来描述他们的估价。让我们暂时不要陷入“呃，一份 20-30 页的报告，让我坐在 ChatGPT 前面，我可能会更快”的习惯。记住：先有流程，再有解决方案。

我们可以将此过程分解为更小的子过程，例如开车到房子、拍照，然后编写报告的不同部分：房子的位置描述、描述不同房间的状况和大小。当我们深入研究单个过程时，我们将看到所涉及的任务、网关和事件。例如，为了编写位置描述，房地产估价师坐在办公桌前，做一些研究，在谷歌地图上查看周围的商店，并查看城市的交通地图以确定房子的交通状况和街道状况。这些都是案例工作者必须做的活动（或任务）。如果房子是偏僻地区的一个农场，公共交通选项可能无关紧要，因为这种房子的买家通常依赖汽车。在流程中决定走哪条路径称为网关。

我们在此应用的这种流程驱动思维方式首先要评估当前流程，然后再将任何人工智能应用于其中。

2、编排而不是基于聊天的交互

对我们的流程和目标进行分析后，我们现在可以开始研究使用 AI 的流程应该是什么样的。重要的是要考虑我们需要采取的各个步骤。如果我们只关注创建描述的子流程，那么可能看起来像这样：

• 分析房屋周围的位置和商店
• 描述室内状况
• 除非位置非常偏远：找到最近的公共交通站
• 为报告写一页文字

是的，你可以用聊天机器人以交互的方式做到这一点，你可以与“AI 陪练伙伴”一起工作，直到得到输出。但这在公司环境中有三个主要问题：

• 可重复性：每个人的提示都不同。这会导致不同的输出，具体取决于提示用户的技能和经验水平。作为一家公司，我们希望我们的输出尽可能具有可重复性。
• 质量参差不齐：你可能与 ChatGPT 有过互动，你需要多次重新措辞提示，直到获得你想要的质量。有时你会得到完全错误的答案。在这个例子中，我们没有找到一个可以高质量地描述商店而不会产生幻觉的LLM。
• 数据和现有系统集成：每家公司都有他们可能希望在这些交互中使用的内部知识。是的，你可以用聊天机器人做一些检索增强生成 (RAG)，但这不是最简单、最通用的方法，在每种情况下都能取得良好的结果。

这些问题来自聊天机器人背后的LLM所拥有的核心基础。

企业应用程序不应依赖“快速响应”交互周期，而应设计为一系列精心策划的、（部分）AI驱动的流程步骤，每个步骤都针对一个特定的目标。例如，用户可以触发一个多步骤流程，该流程集成了各种模型和潜在的多模式输入以提供更有效的结果，并将这些步骤与无需使用人工智能即可检索数据的小脚本相结合。通过结合检索增强生成 (RAG) 并尽量减少人工干预，可以创建更强大、更自动化的工作流程。

与通过交互式界面进行手动编排相比，这种编排方法可显著提高效率。此外，并非流程中的每一步都应完全依赖 AI 模型来完成。在上面的例子中，我们实际上发现，使用 Google Maps API 获取附近的站点和交通站的质量远远优于询问 GPT-4o 等优秀的 LLM 或甚至 Perplexity 等网络搜索 RAG 引擎。

3、通过编排提高效率

让我们想一想没有 AI 的时代。手动流程可能需要大量时间。假设一项任务需要一个小时才能手动完成，并且该过程重复四次，总共需要四个小时。使用由生成式 AI 驱动的聊天机器人解决方案可以节省 50%（或任何百分比）的时间。但是，剩余的时间用于制定提示、等待响应以及通过更正和调整确保输出质量。这已经是最好的结果了吗？

对于重复性任务，尽管节省了时间，但在多名员工执行相同流程的组织中，制定提示、等待和调整输出以保持一致性的需求可能会成问题。为了解决这个问题，利用流程模板变得至关重要。

使用模板，流程被通用化和参数化以便可重复使用。创建高质量流程模板的工作只需一次，而个别案例的执行效率则大大提高。花在提示创建、质量保证和输出调整上的时间大大减少。这是将基于聊天机器人的解决方案与使用模板的 AI 支持的流程编排进行比较时的核心区别。而这一核心差异对质量和可重复性有着巨大的影响。

此外，我们现在有一个狭窄的领域可以测试和验证我们的解决方案。在用户可以插入任何内容的聊天机器人中，以可量化的方式进行测试和找到信心是困难的。我们定义和限制用户可以插入的可能参数和文件越多，我们就越能定量验证解决方案。

在 AI 支持的流程中使用模板反映了传统流程管理中业务流程引擎的原理。当出现新案例时，这些引擎会利用模板存储库并选择相应的模板进行编排。对于编排，然后填写输入参数。

在我们的房地产评估流程示例中，我们的模板有三个输入：对象类型（单户住宅）、一组室内和地址的图片。

流程模板如下所示：

• 使用 Google Places API 和给定的地址查找周围的商店。
• 使用 OpenAI vision API 描述室内条件。
• 使用 Google Places API 查找最近的交通选项。
• 获取 1. 和 3. 的输出 JSON 对象以及交通选项的描述，并使用 GPT-4o 创建一页文本，其结构如下：对象、商店和交通的描述，然后是室内描述和结论，为每个内容打分。

在我们的示例用例中，我们使用内置无代码构建器的 entAIngine 平台实现了应用程序。

请注意，在此过程中，只有 4 个步骤中的 1 个使用大型语言模型。这是件好事！因为 Google Maps API 永远不会产生幻觉。是的，它可以有过时的数据，但它永远不会“编造出听起来像现实的东西”。其次，我们拥有可供人参与的可验证性，因为现在我们有了可以分析和批准的真实信息来源。

在传统的流程​​管理中，模板可以减少流程的可变性、确保可重复性并提高效率和质量（如六西格玛等方法论中所见）。这也是我们在这里必须采用的相同思维方式。

4、生成式AI应用程序的界面

现在，我们已经开始使用 LLM 的流程，但也解决了很多麻烦。但用户如何与之交互？

可以通过手动编码所有内容或使用无代码人工智能流程引擎（如 entAIngine [6]）来实现此类流程。

使用模板对业务流程进行建模时，交互可以以各种方式发生。根据我过去 2 年的经验，对于 90% 的生成式AI用例，以下界面是相关的：

• 知识检索界面：功能类似于可以引用和参考来源的搜索引擎。
• 文档编辑器界面：将文本处理与模板、模型和编排访问相结合。
• 聊天界面：用于迭代、交互式参与。
• 无需专用界面的嵌入式编排 (RPA)：通过 API 集成到现有界面中。

最终的问题是，最有效的交互方式是什么？是的，对于某些创造性用例或非重复性任务，聊天界面可以成为首选工具。但通常并非如此。通常，用户的核心目标是创建某种文档。然后，在编辑器界面中提供这些模板是一种非常有效的交互方式。但有时，如果你有一个想要用 AI 增强的现有应用程序，则无需创建另一个独立的界面。这里的挑战仅仅是执行正确的流程，在现有应用程序中获取其输入数据，并在应用程序界面的某个位置显示输出。

这里提到的这些界面构成了我迄今为止遇到的大多数生成式 AI 用例的基础，同时，它们还支持可扩展地集成到企业环境中。

5、底线

通过将他们的思维从“我如何在任何地方使用 AI 聊天机器人？”转移到“哪些流程执行哪些步骤以及如何在这些步骤中使用生成式 AI？”，企业为真正的 AI 影响奠定了基础。将 AI 与现有系统相结合，然后只研究你需要的用户界面类型。通过这种方式，您可以释放出那些无法超越聊天机器人的企业做梦也想不到的效率。

原文链接：Why Internal Company Chatbots Fail and How to Use Generative AI in Enterprise with Impact

汇智网翻译整理，转载请标明出处