通信人家园

标题: 大模型时代需要什么样的安全水位?火山方舟公开会话无痕技术细节 [查看完整版帖子] [打印本页]

时间: 2024-11-16 08:41

作者: tayun 标题: 大模型时代需要什么样的安全水位?火山方舟公开会话无痕技术细节

机器之心原创

作者：吴昕

2024 年，AI 大模型从「以分计价」跨入「以厘计价」的时代。

信号指向很清晰：把基础设施成本打下来，就是为了应用的爆发，但「算力价格」这把尺子还不够用。

在众多大模型中货比三家，需要投入大量信息成本。相信供应商、中间商「守规矩」、「靠谱」，更不易，信任成本过高，陷入囚徒困境，用户就会趋于保守，放弃潜在交易。

回首 2024，尽管大模型展现出非凡能力，破坏信任的糟心事儿也一直没断过。

4 月，海外某头部大模型商的 AI 语言模型因开源库漏洞导致用户对话泄露，致使意大利政府史无前例地叫停服务。此波未平，该产品长期记忆功能又出现严重漏洞，黑客可以随便访问用户聊天记录。

年初，荷兰一家数据公司的配置失误，导致多家企业（包括头部车企）的用户隐私数据遭泄露。

能力超凡、使用简单但又风险丛生，这样的混乱组合让企业老板难以驾驭。在采访全球多家企业、8000 多名 IT 专业人员后，IBM《 2023 年全球 AI 采用指数》发现：

和传统 AI 的采纳门槛不同，企业采纳生成式 AI 的最大障碍是数据隐私（ 57% ）以及信任和透明度（ 43% ）

一、AI 大模型，困于能力与安全的失衡

当 AI 大模型的技术迭代周期几乎以月（甚至周）计时，数据技术仍在「蜗牛爬行」，这种失衡正在成为大模型发展的主要隐忧之一。

「生成式 AI 带来的安全挑战，已经超出了传统安全技术的应对范围。」火山引擎智能算法负责人、火山方舟负责人吴迪告诉机器之心。作为火山引擎旗下的「一站式大模型服务平台」，火山方舟为企业提供模型精调、推理、评测等全方位功能与服务。

在模型精调环节，企业的核心知识都浓缩在训练数据中，如何确保这些数据、提示词以及模型响应的专属性？如何保证精调后的模型不被他人窃取使用？

推理环节更受关注，因为用户在使用过程中会输入大量真实、敏感的数据来获取模型建议。平台如何保证不会滥用用户数据？数据传输、计算和存储的全流程中，如何不被黑客窃取？平台又如何向用户证明其确实履行了承诺的安全措施？

企业在探索大模型应用场景时，这些安全痛点已经成为首要考虑因素，而传统的安全技术方案早已对此捉襟见肘。

私有部署之困在于，过去「数据不动，模型动」——企业把数据留在私域、将 AI 模型部署到企业私有空间——的策略在大模型时代会碰壁。

首先是技术代差问题，私有部署难以跟上公有云模型的快速迭代节奏；其次是算力成本，规模化运营的公有云服务能提供更高的性价比。此外，模型生产商也会担心核心技术外泄。

现有的隐私计算技术比明文计算慢了上百倍，就像给巨人穿上盔甲，只适合特定场景，但不适用于大模型服务的场景。

以 MPC 为例，将浮点数转为整数计算会损失精度，且单次计算需要 100-200 毫秒，应用场景极其有限。同态加密技术虽可在加密状态下计算，但性能开销会增加百倍甚至更多，一个原本需要 3 秒的处理任务，使用同态加密后可能延长至 5 分钟，难以满足生产需求。

目前，AI 模型推理比较好的选择仍是在明文状态下进行，吴迪表示。虽然理论上存在完全密态计算，让模型直接处理加密数据，但在大模型场景下，这种方案的计算开销过大，实用性较低。

现在的大模型计算主要依赖 GPU 等加速设备，但 GPU 相关的可信执行环境（ TEE ）技术还不成熟。TEE 类技术主要用于加强环境隔离，要真正满足现实安全需求，还需要配合代码审计、网络隔离等关键安全技术，多管齐下。

至于传统云安全更像是「大楼的物业保安」，而大模型需要的是「保险箱级别」的数据安全。

二、多重防御的艺术：「会话无痕」

经过两年潜心打磨，火山方舟推出了一套「会话无痕」方案，保证你的数据，唯你可见、唯你所用、唯你所有。

四重核心功能筑起了数据全生命周期的铜墙铁壁——从传输、使用到存储，没有一个环节被遗漏；推理、模型精调和评估以及数据预处理，关键业务场景均有覆盖。

第一重：链路全加密。在用户与平台之间修筑了一条加密通道，确保用户数据离开企业后，能够安全抵达安全沙箱。

「双层加密」设计，打造了一个高可靠的安全环境。其中，网络层的传输加密，通过 HTTPS 确保基础安全，mTLS 提供双向认证，PrivateLink 则在流量转发层与 GPU 推理实例之间建立专属隧道。

应用层的会话加密犹如叠加一层保险，即使通道被攻破，你的数据本身仍然安全。

详言之，每个部署在安全沙箱中的推理实例，都会被分配唯一的身份证书（就像「锁」）。当用户发送用户数据时，可用手中公钥将它们加密，只有到达正确的安全沙箱环境（钥匙和锁「匹配上」），才能被解密使用。否则，就算攻击者中途截获数据，也是无用之功。

第二重：数据高保密。除了只在必要的时刻、必要的地点短暂解密，火山方舟用户的数据其余时间都处于密文状态。

所有训练数据在进入安全沙箱前都是加密存储的，密钥由用户独自掌控。

一旦进入沙箱，推理等服务进程就能像往常一样使用这些数据，基于 FUSE 的透明加密文件系统会无缝、自动完成数据的加解密。

训练完的模型，会被立刻加密保存到分布式存储系统，等待再次调用。

字节自主研发的技术可支持 GPU 加解密，保证推理等场景精调模型的高效动态调度，满足生产环境的性能需求。

第三重：环境强隔离。它就像一个四层嵌套的「俄罗斯套娃」防护系统，从内到外依次是容器沙箱、网络隔离、可信代理和白屏化运维。

其中，容器沙箱是一种安全增强，弥补容器隔离性不足。在网络层面，平台创新地实现了任务级别的动态网络隔离，即使在同一 VPC 环境下的不同任务也无法直接通信，有效防止攻击者的横向渗透。

外层的可信代理和白屏化运维则进一步确保了系统运行的安全性，严格管控数据流动和运维操作。

第四重：操作可审计。火山方舟提供三大类日志。

首先是云基础安全日志，负责主机层面的安全日志采集。

第二个就是安全业务日志，包括沙箱连接、沙箱登录、容器逃逸和 KMS 访问等关键日志，帮助用户快速定位可疑行为，预防风险。

例如，沙箱连接日志会记录所有对沙箱环境的连接尝试，显示来源 IP 、目标 IP 、进程信息（ PID ）和安全等级，方便用户识别可疑连接；KMS 访问日志会跟踪所有密钥操作，监控精调模型的密钥使用情况。

第三类是用户可见日志，包括所有历史访问记录，支持用户直接查看和与其他层面（云基础、安全业务）日志的交叉验证，确定日志的真实性，不存在篡改和遗漏。

三、方舟安全：哲学与蓝图

就像电缆的绝缘层、保护层、铠装，环环相依，保护「线芯」不受外界因素侵蚀，在「会话无痕」的四重保护下，你的数据，唯你可见，唯你所用，唯你所有，平台安全水位也被提升到一个相当高的位置。

这不是简单堆砌多种安全技术的结果，而是对大模型时代数据安全的一次重新定义，包含三个核心理念。

首先，安全不是事后添加的补丁，而是埋在大楼水泥地基里的钢筋，从一开始就作为基本能力，被织进火山方舟大模型平台的底层设计中。

第二，在不显著损耗模型效果和推理效率的前提下，提升平台安全。

增强安全防护通常会导致明显的性能损耗，因此，在保持大模型性能的同时提升安全性，任务难度呈指数级增长。「会话无痕」比较好地平衡了这一点，吴迪认为，「我们可能是业界做得最好的公司之一。」

原因很简单，火山方舟不仅精通安全技术，还积累了丰富的场景应用 know-how ，如知道不同场景下的真正安全节点，包括用户的实际使用模式、模型运行特点等。

有了这些知识，他们就能简化掉一些安全性虽高但会导致大量浪费、性能损耗的冗余开销，在关键点实施精准的安全加固，优化安全措施的实现方式。

第三就是透明可信，阳光是最好的「防腐剂」。

最初，我们觉得环境强隔离的安全沙箱设计最具挑战性，但现在发现审计日志才是最难的。吴迪说。

这个难点并非技术本身，更多的是产品设计上，如何让专业的安全信息变得通俗易懂，用户不仅能看到日志，更要能看懂日志，理解当前的安全水准处在一个什么样的位置。

未来几个月，火山方舟计划进一步提升平台安全水位——从「不作恶( don't be evil )」提升到「无法作恶( can't be evil )」，从技术层面确保平台即使想做坏事也做不到。

例如，进一步升级审计日志系统，让用户能够全方位监督平台的每一次计算过程是否合规、安全。引入更先进的硬件可信技术，并邀请第三方机构进行独立审计和测试，通过技术手段和外部监督，从根本上保证平台行为的透明可信。

吴迪透露，火山方舟目前拥有一支独立的安全技术团队，由资深安全主管领衔，汇集了系统架构和信息安全领域的专家。

安全技术团队与负责模型推理等核心功能的系统工程团队保持着微妙的平衡：既能密切协作，又能独立进行安全评估，形成了有效的互助与制衡机制。

同时，火山方舟还建立了常态化的蓝军攻防体系，通过持续的安全测试来检验和强化系统防护能力。

长远来看，在一个快速变迁的技术世界里，构建一个既安全又不失性能的安全体系，有时就像在流沙上建造堡垒，极具挑战性。

多模态交互的出现使问题更加复杂——不同模态数据在规模和处理方式上差异显著，仅视频的加解密流量就远超文本处理的需求，吴迪举例说。

更深层的挑战来自模型推理系统本身的复杂性。它已经演变成一个庞大的分布式系统，涉及多样化硬件、推理优化方案和 RDMA 网络传输，而这些底层架构还在不断演进中。这种动态变化的环境，使得安全体系的构建和维护变得愈发具有挑战性。

然而，前景依然光明。火山方舟相信，生成式 AI 的市场规模有望达到当前的千倍，渗透各行各业的核心业务。

当它距离企业核心业务越近，除了性能、性价比，企业对数据安全和信任的要求也会水涨船高。

着眼未来，顺势而为，火山方舟希望载着越来越多的大模型玩家，加速驶向更远的节点。

来源：网易

通信人家园 (https://www.txrjy.com/)