GenAI重塑数据科学团队

APPLICATION Dec 6, 2024

推荐： ComfyUI-PandasAI | ComfyUI-Autodistill | ComfyUI节点速查手册

生成式人工智能 (GenAI) 为缩短开发周期、减少技术和维护工作量以及实现以前似乎遥不可及的创新用例打开了大门。与此同时，它也带来了新的风险 — — 比如幻觉和对第三方 API 的依赖。

对于数据科学家和机器学习团队来说，这种演变对他们的角色产生了直接影响。一种新型的人工智能项目已经出现，部分人工智能已经由外部模型提供商 (OpenAI、Anthropic、Meta……) 实施。非人工智能专家团队现在可以相对轻松地集成人工智能解决方案。在这篇博文中，我们将讨论这一切对数据科学和机器学习团队意味着什么：

现在可以解决各种各样的问题，但并非所有问题都是人工智能问题
传统机器学习并没有消亡，而是通过 GenAI 得到了增强
有些问题最好用 GenAI 来解决，但仍然需要机器学习专业知识来运行评估和降低道德风险
人工智能素养在公司内部变得越来越重要，以及数据科学家如何在实现这一目标方面发挥关键作用。

1、并非所有问题都是 AI 问题

GenAI 释放了解决更广泛问题的潜力，但这并不意味着每个问题都是 AI 问题。数据科学家和 AI 专家仍然是确定何时使用 AI、选择适当的 AI 技术以及设计和实施可靠的解决方案以解决给定问题的关键（无论解决方案是 GenAI、传统 ML 还是混合方法）。

然而，虽然 AI 解决方案的宽度已经扩大，但仍需要考虑两件事以选择正确的用例并确保解决方案面向未来：

在任何给定时刻，GenAI 模型都会存在某些限制，这些限制可能会对解决方案产生负面影响。这始终是正确的，因为我们处理的是预测和概率，它们总是存在一定程度的错误和不确定性。
与此同时，事情正在快速发展，并将在不久的将来继续发展，减少和修改 GenAI 模型的局限性和弱点，并增加新的功能和特性。

如果存在当前 LLM 版本无法解决但未来版本可能会解决的特定问题，那么等待或开发一个不太完美的解决方案可能更具战略意义，而不是投资复杂的内部开发来过度工作和修复当前 LLM 的局限性。同样，数据科学家和人工智能专家可以帮助引入所有这些进展方向的敏感性，并区分哪些事情可能从模型提供者方面解决，哪些事情应该在内部解决。例如，加入允许用户编辑或监督 LLM 输出的功能可能比通过复杂逻辑或微调实现完全自动化更有效。

市场差异化不会仅仅来自于使用 LLM，因为现在每个人都可以使用 LLM，而来自于产品通过它们可以提供的独特体验、功能和价值（如果我们都使用相同的基础模型，那么什么会让我们与众不同？用 AI 打造你的竞争优势）。

借助 GenAI 解决方案，数据科学团队可能需要减少对模型开发部分的关注，而更多地关注整个 AI 系统。

2、传统 ML 并未消亡

虽然 GenAI 彻底改变了 AI 领域和许多行业，但传统 ML 仍然不可或缺。许多用例仍然需要传统的 ML 解决方案（以大多数不处理文本或图像的用例为例），而其他问题可能仍然可以通过 ML 而不是 GenAI 更有效地解决。

GenAI 远非取代传统 ML，而是经常对其进行补充：它允许更快地进行原型设计和实验，并且可以通过混合 ML + GenAI 解决方案增强某些用例。

在传统的 ML 工作流程中，开发诸如自然语言处理 (NLP) 分类器之类的解决方案涉及：获取训练数据（可能包括手动标记）、准备数据、训练和微调模型、评估性能、部署、监控和维护系统。这个过程通常需要数月时间，并且需要大量资源进行开发和持续维护。

相比之下，使用 GenAI，工作流程大大简化：选择合适的大型语言模型 (LLM)、快速工程或快速迭代、离线评估，并使用 API 将模型集成到生产中。这大大缩短了从构思到部署的时间，通常只需几周而不是几个月。此外，大部分维护负担由 LLM 提供商管理，进一步降低了运营成本和复杂性。

此外，GenAI 允许快速测试想法并证明其价值，而无需收集标记数据或投资培训和部署内部模型。一旦价值得到证明，ML 团队可能会决定转向传统 ML 解决方案以降低成本或延迟，同时可能利用来自初始 GenAI 系统的标记数据。同样，许多公司现在在价值得到证明后转向小型语言模型 (SML)，因为它们可以进行微调和更轻松地部署，同时实现与 LLM 相当或更优异的性能（小型即是新大：小型语言模型的崛起）。

在其他情况下，最佳解决方案将 GenAI 和传统 ML 结合成混合系统，以充分利用两全其美的优势。一个很好的例子是“使用大型语言模型构建 DoorDash 的产品知识图谱”，他们解释了如何将传统 ML 模型与 LLM 一起使用来改进分类任务，例如标记产品品牌。当传统 ML 模型无法自信地对某些事物进行分类时，就会使用 LLM，如果 LLM 能够做到这一点，就会使用新的注释重新训练传统 ML 模型（很棒的反馈循环！）。

无论哪种方式，ML 团队都将继续致力于传统 ML 解决方案，微调和部署预测模型，同时承认 GenAI 如何帮助提高解决方案的速度和质量。

3、有些问题可以通过 GenAI 得到更好的解决

AI 领域正在从使用大量内部专业模型转变为使用外部公司拥有的几个大型多任务模型。ML 团队需要接受这一变化，并准备将 GenAI 解决方案纳入其可能使用的方法列表中，以保持竞争力。虽然模型训练阶段已经完成，但仍需要保持对 ML 和 AI 的心态和敏感性，因为解决方案仍然是概率性的，与传统软件开发的确定性截然不同。

尽管 GenAI 带来了诸多好处，但 ML 团队仍必须应对自己的一系列挑战和风险。考虑基于 GenAI 的解决方案而非内部传统 ML 解决方案时，主要增加的风险是：

对第三方模型的依赖：这引入了新的每次调用成本、可能影响实时系统性能的更高延迟以及缺乏控制（因为我们现在对其训练数据或设计决策的了解有限，并且提供商的更新可能会在生产中引入意外问题）。
GenAI 特定风险：我们非常清楚 GenAI 的自由输入/自由输出关系。自由输入引入了新的隐私和安全风险（例如由于数据泄露或即时注射），而自由输出引入了幻觉、毒性或偏见和歧视增加的风险。

4、仍需要 ML 专业知识来运行评估并降低道德风险

虽然 GenAI 解决方案通常比传统 ML 模型更容易实施，但它们的部署仍然需要 ML 专业知识，特别是在评估、监控和道德风险管理方面。

与传统 ML 一样，GenAI 的成功依赖于强大的评估。由于这些解决方案具有一般的“自由输出”关系（答案相关性、正确性、语气、幻觉、伤害风险……），因此需要从多个角度进行评估。在部署之前运行此步骤非常重要（参见上面的图片 ML 与 GenAI 项目阶段），通常称为“离线评估”，因为它可以让人们了解系统部署时的行为和性能。请务必查看这个关于 LLM 评估指标的出色概述，它区分了统计评分器（用于文本相关性的定量指标，如 BLEU 或 ROUGE）和基于模型的评分器（例如基于嵌入的相似性度量）。 DS 团队擅长设计和评估指标，即使这些指标可能有点抽象（例如，您如何衡量有用性或相关性？）。

一旦部署了 GenAI 解决方案，监控就变得至关重要，以确保它能够按预期和预期的方式工作。可以检查与评估中提到的指标类似的指标，以确保在部署解决方案并使用真实数据后，离线评估的结论能够得到维护。Datadog 等监控工具已经提供了 LLM 特定的可观察性指标。在这种情况下，通过与用户研究团队密切合作，通过直接向用户征求反馈来丰富定量见解也很有趣（例如，“您觉得这些建议有用吗？如果没有用，为什么？”）。

GenAI 模型的复杂性和黑盒设计更大，放大了它们可能承担的道德风险。机器学习团队发挥着至关重要的作用

他们将自己对值得信赖的人工智能的知识带到会议桌上，对可能出错的事情有敏锐的洞察力，并识别和减轻这些风险。这项工作可以包括进行风险评估，选择偏见较少的基础模型（ComplAI 是一个有趣的新框架，用于在道德层面上评估和基准化 LLM），定义和评估公平和不歧视指标，以及应用技术和护栏以确保产出与社会和组织的价值观保持一致。

5、AI素养在公司内部变得越来越重要

公司的竞争优势不仅取决于其人工智能内部项目，还取决于其员工对人工智能的理解和使用效果。数据科学家在培养团队的人工智能素养方面发挥着关键作用，使员工能够在了解人工智能的局限性和风险的同时利用人工智能。在他们的帮助下，人工智能不仅应该成为技术团队的工具，还应该成为整个组织的核心竞争力。

为了提高人工智能素养，组织可以实施由数据科学家和人工智能专家领导的各种计划，例如内部培训、研讨会、聚会和黑客马拉松。这种意识以后可以帮助：

通过鼓励在团队已经使用的工具中使用通用 AI 或特定的基于 AI 的功能，增强内部团队并提高他们的生产力。
从团队内部及其专业知识中识别出具有巨大潜力的机会。业务和产品专家可以针对以前被认为过于复杂或不可能实现的主题提出很棒的项目想法（现在在 GenAI 的帮助下，这些想法可能会成为现实）。

6、结束语

毋庸置疑，数据科学和人工智能领域正在快速变化，数据科学家和机器学习团队的角色也随之变化。虽然 GenAI API 确实可以让缺乏 ML 知识的团队实施 AI 解决方案，但 DS 和 ML 团队的专业知识对于稳健、可靠和合乎道德的解决方案仍然具有重要价值。在这种新背景下，数据科学家的角色重新定义包括：