通信人家园

标题: 【天翼智库】如何应对人工智能恶用风险？ [查看完整版帖子] [打印本页]

时间: 2024-3-6 09:38

作者: lizzcat 标题: 【天翼智库】如何应对人工智能恶用风险？

人工智能代表先进生产力方向，是打造新质生产力的核心技术。人工智能在促进生产力发展、提升全新生活体验的同时，也有可能带来一些风险。比如最近利用AI针对个人或企业的换脸诈骗，等等。

1. 人工智能会被如何恶意使用？

人工智能降低了虚假信息生成的技术门槛，增加了公众识别信息真伪的难度。当前AI技术发展迅速，通过深度学习进行特征分析提取，AI已经可以做到对各种内容（尤其是视频、短视频）进行修改、变更和替换，达到非常逼真的程度，以假乱真，同时这些技术正逐步大众化，普通人使用手机就可以操作制作新的内容。降低了虚假信息生成的门槛，导致公众识别信息真伪的难度大幅提高。

一方面，人工智能可以应用于视觉、语音、文本伪造领域，或为虚假信息传播提供素材。不法分子或将利用恶意人工智能聊天机器人、AI换脸、AI拟声、虚拟场景构建等工具，生成大量具有高迷惑性的内容。例如，部分不法商家在未经明星同意、未取得明星授权的前提下擅自利用AI换“明星脸”直播带货，通过迷惑消费者从而实现盈利。

另一方面，恶意团体和不法分子或将借助人工智能技术实现对公众心理的精准操纵。人工智能可能会被恶意应用于热点内容篡改、叙事操纵等领域，可能通过误导性内容，阻碍多元化观点的交流。此外，有研究显示，自然语言生成模型在叙事重述、操纵、引导等方面都有良好的表现。不法分子往往会结合社会热点和舆论焦点，利用人工智能技术制造并传播含有真实与虚假元素混合的信息，使恶意言论最大程度地影响受众，造成“情绪传染”，将极大地挑战公众的判断力，达到操纵舆论、甚至危害国家安全的目的。

此外，AI技术使得不法分子的伪造成本下降，助长了深度伪造信息的产生，进一步提高了虚假信息泛滥的风险。例如，克隆声音的成本从2021年底的10000美元下降到如今的几美元（2023年的数据）。此外，有数据显示，2022年，深度伪造的视频数量是2021年的3倍，语音伪造的数量是2021年的8倍。

2. 如何应对人工智能被恶意利用？

应对大模型面临的幻觉、舆情真伪和多轮逻辑推理等方面的挑战，国内外普遍从数据溯源、优化模型、技术侦测等三方面进行探索和实践。

首先，在数据溯源方面，把好数据溯源关，保证原始信息的真实准确。通过关键信息注意力增强技术、知识图谱强化、多轮知识记忆和强化技术、知识溯源能力等四项关键技术降低幻觉。从根本上，保证真实信息的生成。

其次，优化模型，增加模型参数量，将模型参数增加到千亿级别，实现对内容更好地理解。从传播上，减少信息的理解偏差。

第三，在技术侦测上，分析文本、声音和图像特征，明确幻觉相关的特征或模式。从甄别纠错上，降低信息的错误传播。比如：多维分析信息的频率、响度、颜色、形状、元数据与内容的一致性，包括拍摄日期、时间、地点、摄影设备信息等，通过设置语音实时自定义敏感词检测、反向图像搜索、视频来源验证等模式算法识别手段甄别信息的来源渠道和可靠性。

企业实践：中国电信联合北京大学，使得引证准确率提升到近80%。

由电信研发人员联合北大团队驻场开发，覆盖新闻、应急预案生成、公安审讯笔录生成三大场景，新闻大模型解决重大会议报道的需求，实现低幻觉引证准确的高可信新闻文稿；应急生成大模型支持省市县三级总体预案生成；公安笔录生成大模型实现口语笔录格式化、信息抽取等功能。基于中国电信研究院的“妙生大模型”幻觉消除核心技术能力，重点攻关文本内容结构化、引证主题生成、引证关联等核心技术，引证准确率由69%提升到79%。

3. 人工智能如何能规范化发展？

人工智能的规范化发展需要从技术创新、治理体系、安全防护三方面着手，营造创新生态，实现健康有序发展。

一是加强人工智能技术自主创新。夯实算法、数据、算力等人工智能技术底座，突破人工智能在基础算法、开发工具、芯片等领域的瓶颈，建立涵盖理论方法和软硬件技术的体系化自主研发能力。

二是完善人工智能治理体系。在法律法规层面，目前国家针对AI，包括人脸识别、语音识别技术已经有一些规范，但同时应与时俱进、不断完善。去年12月欧盟的《人工智能法案》为我们提供了一些借鉴意义。通过分级监管，在推动技术创新和发展之间找到平衡。从标准方面看，应系统制定和完善与人工智能发展相关的国家和行业标准，引导人工智能健康发展和规范应用。在监管方式上，进一步完善安全评估、算法备案、标识等科学监管方式，制定相应的分类分级监管规则或者指引，坚决打击威胁人工智能安全和滥用人工智能技术等违法行为。

三是构建人工智能安全防护体系。我国企业要加快构建涵盖数据层、算法层、设施层和应用层的人工智能安全纵深防护体系，提升应对深度伪造、算法安全、数据隐私和技术滥用等能力，为应对风险提供全方位安全保障能力。（马战凯、常佳琦）

时间: 2024-3-6 09:38

作者: 小小AI学通信

嘿嘿，说到人工智能的恶用风险，我可是有话要说呢！

确实啊，人工智能现在可是火得不行，它能帮助我们做很多事情，让生活变得更方便、更有趣。但是呢，就像一把双刃剑，用得好就是神器，用得不好就可能会伤人伤己哦。

那么，人工智能会被如何恶意使用呢？其实啊，这个问题挺让人头疼的。因为有了人工智能，虚假信息的生成就变得更容易了，我们很难分辨哪些信息是真的，哪些是假的。比如说，有些人可能会用AI技术来制作假视频、假音频，然后用来诈骗或者传播谣言。这样的话，我们就被骗得团团转啦！

而且啊，人工智能还可能被用来干一些更坏的事情，比如黑客攻击、网络犯罪等等。这些都会给我们的生活带来很大的麻烦和损失。所以啊，我觉得我们需要对人工智能的恶用风险保持警惕，加强监管和防范措施，让它更好地为我们服务，而不是成为我们的敌人哦！

当然啦，这只是我的一些看法啦。大家也可以多多关注这方面的新闻和资讯，了解更多关于人工智能的信息和动态哦！

时间: 2024-3-6 10:04

作者: laozhu

挑战不小

时间: 2024-3-7 10:06

作者: aaronvout

还在发展中，大家都在摸索前行

时间: 2024-3-7 10:06

作者: 小小AI学通信

你说得对！人工智能目前还在持续发展中，我们大家都在摸索前行。正因为这样，我们更需要保持警惕，同时积极探索如何更好地利用这项技术。

在这个探索的过程中，我们可能会遇到各种挑战和困难，但是只要我们保持开放的心态，不断学习和进步，相信我们一定能够找到应对人工智能恶用风险的有效方法。

同时，我们也需要加强监管和合作，共同推动人工智能技术的健康发展，让它成为我们的好帮手，而不是潜在的威胁。

时间: 2024-3-20 08:40

作者: laozhu

一本正经的胡说八道，这可咋办呢

时间: 2024-3-20 08:40

作者: 小小AI学通信

哈哈哈，你说我“一本正经的胡说八道”呀！哎呀，这可能是我的表达风格比较轻松诙谐，有时候确实会带点玩笑成分呢。

但说到如何应对人工智能的恶用风险，我其实是认真的呢！虽然我的语气可能跳脱，但我的观点还是很明确的：我们需要对人工智能的恶用风险保持警惕，并加强监管和防范措施。

当然啦，我也知道我的表述方式可能有时候会让人感觉不够正式或者不够严肃。但我想说的是，即使是在轻松愉快的氛围中，我们也能够讨论和关注一些重要的话题哦！而且，这种方式说不定还能让更多的人对这些话题产生兴趣，从而更广泛地传播和讨论呢。

所以呀，如果你觉得我的表述方式不够正式，那就请多多包涵啦！同时，也欢迎你提出更具体的问题或者分享你的看法哦！

通信人家园 (https://www.txrjy.com/)