日前，Anthropic CEO Dario Amodei 在其个人博客中呼吁人们重视人工智能（AI）安全问题，“原则上 AI 可以帮助好人，也可以帮助坏人”，过于低估 AI 风险将成为“阻碍我们走向积极未来的唯一障碍”。
事实上，在 AI 大模型技术快速发展、深度赋能各行各业的当下，一系列复杂且不可忽视的安全风险也随之而来。三位图灵奖得主 Geoffrey Hinton、Yoshua Bengio 和姚期智以及几十位 AI 领域顶尖学者就曾在“AI 安全国际对话威尼斯共识”公开信中警告道，“‘灾难性的结果’随时可能发生。”
而医疗保健作为与所有人息息相关的领域，确保其中 AI 应用的安全，避免“灾难性结果”、甚至“一些小错误”都显得更为关键。
作为全球领先的医疗监管机构，美国食品药品监督管理局（FDA）对 AI 新技术和产品的态度对全球医疗行业都有深远的影响。
日前，FDA 的 Haider J. Warraich、Troy Tazbaz 和 Robert M. Califf 在 JAMA（国际四大医学期刊之一）上系统性回顾了 FDA 对 AI 的监管历史，指出 AI 在医疗产品开发、临床研究和临床护理中的几种潜在用途，并提出了在监管系统适应 AI 独特挑战时值得考虑的概念。
尤其是，他们在文章中写道，生成式 AI 的应用，如大语言模型（LLMs），是一个独特的挑战，因为它有可能产生不可预见的突发后果，亟需在这一领域进行监管创新，开发者、临床医生、卫生系统领导者和监管者之间的合作也至关重要。
FDA 如何监管 AI 医疗产品？
多年来，FDA 在应对 AI 技术发展方面一直扮演着至关重要的角色。作为首个批准部分 AI 驱动的医疗设备的监管机构，FDA 的历史可追溯至 1995 年，当时批准了 PAPNET 软件，旨在通过神经网络来防止宫颈癌误诊。虽然这一技术最初被认为比人类病理学家更准确，但由于成本效益不足，未能广泛应用。
自那时以来，FDA 已经批准了大约 1000 种 AI 驱动的医疗设备，尤其是在放射学和心脏病学领域。
图｜FDA 授权销售的 AI 医疗器械（按年份）（来源：该论文）
最近，FDA 的医疗产品中心描述了关于在医疗产品中开发和使用 AI 的 4 个重点领域：（1）促进合作以保障公众健康；（2）促进协调标准、指南、最佳实践和工具的制定；（3）推进支持创新的监管方法的开发；（4）支持与 AI 性能评估和监测相关的研究。
FDA 的监管框架建立在以风险为基础的策略之上，根据应用的风险程度，在 AI 方面，可分为非监管、部分监管和高度监管的医疗设备。FDA 注重采取灵活的监管措施，例如通过生命周期管理方法，持续监控 AI 驱动设备的安全性和有效性。
然而，随着 AI 技术在医疗领域的广泛应用，FDA 面临着新的挑战，包括 AI 模型不断进化和技术应用复杂性的增加使得监管难度直线上升。这要求未来的监管工作不仅需要确保技术的安全性和有效性，还需通过跨学科的合作与创新，积极应对 AI 技术带来的潜在风险。
FDA 已经意识到传统的静态监管方法不再适用 AI 的快速演进，特别是对于生成式 AI 和大语言模型等新兴技术，这些技术具有不可预见的潜在后果。
例如，生成式 AI 在诊断、治疗等领域虽能带来巨大创新，但也存在潜在的错误和偏见风险，如 AI 医疗记录助手可能会错误生成未经讨论的诊断。因此，需要为这些复杂 AI 模型开发专门的工具，评估其输出的可靠性和安全性。现有的一些评估工具如 DeepEval 已经显示出一定的效果，但更深入的监管创新仍是必要的。
此外，文章指出，AI 模型的后续监测与持续评估是保障其安全性的关键，AI 技术的表现受环境变化的影响较大，需要在其使用的临床环境中进行持续的实时监控。未被监控的 AI 系统可能在实际操作中产生重大危害，这一领域也急需新的管理工具和方法来应对。
因此，在监管 AI 技术时，将更加注重长期的效果监测，并强调合作和透明度，以确保 AI 在医疗领域的创新安全和有效。
