GenAI 正在重塑数据科学团队

see122

生成式人工智能 (GenAI) 为缩短开发周期、减少技术和维护工作量以及实现以前看似遥不可及的创新用例打开了大门。与此同时，它也带来了新的风险，比如幻觉和对第三方 API 的依赖。

对于数据科学家和机器学习团队来说，这种演变对他们的角色产生了直接影响。一种新型的人工智能项目已经出现，其中部分人工智能已经由外部模型提供商（OpenAI、Anthropic、Meta、DeepSeek……）实施。非人工智能专家团队现在可以相对轻松地集成人工智能解决方案。在这篇文章中，我们将讨论这一切对数据科学和机器学习团队意味着什么：

我们可以解决各种各样的问题，但并非所有问题都是人工智能问题

传统机器学习并未消亡，而是通过 GenAI 得到增强

有些问题最好用 GenAI 来解决，但仍然需要 ML 专业知识来运行评估并降低道德风险

人工智能素养在公司中变得越来越重要，以及数据科学家如何发挥关键作用以使其成为现实。

1.我们可以解决各种各样的问题，但并非所有问题都是人工智能问题

GenAI 释放了解决更广泛问题的潜力，但这并不意味着每个问题都是 AI 问题。数据科学家和 AI 专家仍然是确定何时使用 AI、选择适当的 AI 技术以及设计和实施可靠的解决方案来解决给定问题的关键（无论解决方案是 GenAI、传统 ML 还是混合方法）。

然而，虽然人工智能解决方案的广度不断扩大，但仍需要考虑两件事来选择正确的用例并确保解决方案面向未来：

在任何特定时刻，GenAI 模型都会存在某些限制，这些限制可能会对解决方案产生负面影响。这一点始终适用，因为我们处理的是预测和概率，它们总是存在一定程度的误差和不确定性。

与此同时，技术正在快速发展，并将在不久的将来继续发展，减少和修改 GenAI 模型的局限性和弱点，并增加新的功能和特性。

如果存在当前 LLM 版本无法解决但未来版本可能会解决的特定问题，那么等待或开发一个不太完美的解决方案可能更具战略意义，而不是投资复杂的内部开发来过度工作并修复当前 LLM 的局限性。同样，数据科学家和人工智能专家可以帮助引入所有这些进展方向的敏感性，并区分哪些事情可能从模型提供者方面解决，哪些事情应该在内部解决。例如，加入允许用户编辑或监督 LLM 输出的功能可能比通过复杂逻辑或微调实现完全自动化更有效。

市场差异化不会仅仅来自于使用 LLM，因为现在每个人都可以使用它们，而是来自于通过它们可以提供的独特体验、功能和价值产品（如果我们都使用相同的基础模型，那么我们有什么不同？）。

有了 GenAI 解决方案，数据科学团队可能需要减少对模型开发部分的关注，而更多地关注整个 AI 系统。

2.传统机器学习并未消亡，而是通过 GenAI 得到增强

虽然 GenAI 彻底改变了人工智能领域和许多行业，但传统机器学习仍然不可或缺。许多用例仍然需要传统机器学习解决方案（以大多数不处理文本或图像的用例为例），而其他问题可能仍然可以用机器学习而不是 GenAI 更有效地解决。

GenAI非但不能取代传统的机器学习，反而常常是对它的补充：它能够实现更快的原型设计和实验，并且可以通过混合机器学习 + GenAI 解决方案来增强某些用例。

在传统的 ML 工作流程中，开发诸如自然语言处理 (NLP) 分类器之类的解决方案涉及：获取训练数据（可能包括手动标记）、准备数据、训练和微调模型、评估性能、部署、监控和维护系统。此过程通常需要数月时间，并且需要大量资源进行开发和持续维护。

相比之下，使用 GenAI，工作流程简化：选择合适的大型语言模型 (LLM)、快速工程或快速迭代、离线评估，并使用 API 将模型集成到生产中。这缩短了从构思到部署的时间，通常只需几周而不是几个月。此外，大部分维护负担由 LLM 提供商管理，进一步降低了运营成本和复杂性。

因此，GenAI 可以快速测试想法并证明其价值，而无需收集标记数据或投资培训和部署内部模型。一旦价值得到证明，ML 团队可能会决定转向传统 ML 解决方案以降低成本或延迟，同时可能利用来自初始 GenAI 系统的标记数据。同样，许多公司现在在价值得到证明后转向小型语言模型 (SML)，因为它们可以进行微调和更轻松地部署，同时实现与 LLM 相当或更优异的性能。

在其他情况下，最佳解决方案将 GenAI 和传统 ML 结合到混合系统中，充分利用两者的优势。一个很好的例子是 “使用大型语言模型构建 DoorDash 的产品知识图谱”，其中他们解释了如何将传统 ML 模型与 LLM 一起使用来改进分类任务，例如标记产品品牌。当传统 ML 模型无法更好地对某些事物进行分类时，就会使用 LLM，如果 LLM 能够做到这一点，那么就会使用新的注释重新训练传统 ML 模型。

无论哪种方式，ML 团队都将继续致力于传统的 ML 解决方案、微调和部署预测模型，同时承认 GenAI 如何帮助提高解决方案的速度和质量。

3.GenAI 将更好地解决某些问题

人工智能领域正在从使用大量内部专用模型转变为使用外部公司拥有的少数大型多任务模型。机器学习团队需要接受这种变化，并准备将 GenAI 解决方案纳入其可能使用的方法列表中，以保持竞争力。尽管模型训练阶段已经完成，但仍需要保持对机器学习和人工智能的思维方式和敏感性，因为解决方案仍然是概率性的，与传统软件开发的确定性截然不同。

尽管 GenAI 带来了诸多好处，但 ML 团队仍必须应对自身的一系列挑战和风险。在考虑基于 GenAI 的解决方案而不是内部传统的基于 ML 的解决方案时，主要增加的风险包括：

• 对第三方模型的依赖：
  

这会带来新的每次调用成本、可能影响实时系统性能的更高延迟以及缺乏控制（因为我们现在对其训练数据或设计决策的了解有限，并且提供商的更新可能会在生产中引入意外问题）。

• GenAI 特有的风险
  

：我们非常清楚 GenAI 的自由输入/自由输出关系。自由输入会带来新的隐私和安全风险（例如由于数据泄露或提示注入），而自由输出则会带来幻觉、毒性或偏见和歧视增加的风险。

仍然需要机器学习专业知识来进行评估并降低道德风险

虽然 GenAI 解决方案通常比传统 ML 模型更容易实现，但它们的部署仍然需要 ML 专业知识，特别是在评估、监控和道德风险管理方面。

与传统机器学习一样，GenAI 的成功依赖于稳健的评估。由于这些解决方案具有一般的“自由输出”关系（答案相关性、正确性、语气、幻觉、伤害风险……），因此需要从多个角度进行评估。在部署之前运行此步骤非常重要，通常称为“离线评估”，因为它可以让人们了解系统部署时的行为和性能

一旦部署了 GenAI 解决方案，监控就变得至关重要，以确保它能够按预期和长期预期的方式工作。可以检查与评估中提到的类似指标，以确保在部署解决方案并使用真实数据后，离线评估的结论能够得到维护。

GenAI 模型的复杂性和黑盒设计更大，放大了它们可能承担的道德风险。机器学习团队发挥着至关重要的作用，他们将关于值得信赖的人工智能的知识带到了桌面上，对可能出错的事情有敏锐的洞察力，并识别和减轻这些风险。这项工作可以包括运行风险评估、选择偏见较少的基础模型、定义和评估公平和无歧视指标，以及应用技术和护栏以确保产出与社会和组织的价值观保持一致。

4.人工智能素养在公司中变得越来越重要

一家公司的竞争优势不仅取决于其内部的 AI 项目，还取决于其员工对 AI 的理解和使用效果。数据科学家在培养团队的 AI 素养方面发挥着关键作用，使员工能够利用 AI，同时了解其局限性和风险。在他们的帮助下，AI 不仅应该成为技术团队的工具，还应该成为整个组织的核心竞争力。

为了提高 AI 素养，组织可以实施由数据科学家和 AI 专家领导的各种计划，例如内部培训、研讨会、聚会和黑客马拉松。这种意识以后可以帮助：

通过鼓励团队在已经使用的工具中使用通用人工智能或特定的基于人工智能的功能，增强内部团队并提高他们的生产力。

• 从团队内部及其专业知识中识别出具有巨大潜力的机会
  

。业务和产品专家可以针对以前被认为过于复杂或不可能实现的主题提出出色的项目构想（现在借助 GenAI 可能会实现）。

5.总结：数据科学家的角色不断演变

毋庸置疑，数据科学和人工智能领域正在快速变化，数据科学家和机器学习团队的角色也随之发生变化。虽然 GenAI API 确实可以让缺乏 ML 知识的团队实施 AI 解决方案，但 DS 和 ML 团队的专业知识对于稳健、可靠和合乎道德的解决方案仍然具有重要价值。在这种新背景下，数据科学家的角色重新定义包括：

• 紧跟人工智能的进展，
  

以便能够选择最佳技术来解决问题，设计和实施出色的解决方案，并在承认局限性的同时使解决方案面向未来。

• 采用系统范围的视角，
  

而不是仅仅关注预测模型，变得更加端到端，并包括与其他角色的协作，以影响用户如何与系统交互和监督。

• 继续致力于传统的 ML 解决方案，
  

同时了解 GenAI 如何帮助提高解决方案的速度和质量。

• 深入了解GenAI的局限性和风险，
  

构建可靠、值得信赖的AI系统，包括评估、监控和风险管理。

• 担任整个组织的 AI 带头人
  

提升 AI 素养并帮助非技术团队利用 AI 并识别正确的机会。

数据科学家的角色不会被取代，而是被重新定义。通过接受这一演变，它将仍然不可或缺，引导组织有效且负责任地利用人工智能。


来源：36kr