通信人家园

标题: 可验证大模型输出、训练来源，斯坦福提出“统一归因”框架 [查看完整版帖子] [打印本页]

时间: 2023-12-21 15:12

作者: gythy1978 标题: 可验证大模型输出、训练来源，斯坦福提出“统一归因”框架

随着ChatGPT等大模型被广泛应用在实际业务中，其输出内容的真实、可靠、安全性成为了重点。学术界则使用“归因”来表示追查、证实内容。

目前，在“归因”研究领域有两大派系，一种是协同归因，主要追查引用数据和训练数据来源；另外一种是贡献归因，证明模型输出内容的真实性以减少幻觉。

这两种归因方法对于法律、医疗、金融等，对于内容准确率要求极高的行业应用大模型至关重要。

但是这两种研究方法是分开独立进行的，所以，斯坦福大学的研究人员提出了“统一归因”框架，将两种方法集成在一起。

论文地址：https://arxiv.org/abs/2311.12233

协同归因
协同归因主要是用来验证大模型的输出是否正确，并与外部的知识进行比较。例如，我们可以通过生成一些相关的引文或参考文献来追溯大模型输出的来源，并验证它的准确性。

同时可以通过从外部的知识库中检索相关的知识，然后与大模型的输出进行对比和验证。具体功能如下：
640 (1).png

引文生成验证：该功能是生成与大模型输出相关的引文或参考文献。它会在知识库或文献数据库中搜索相关的文献，并根据大模型输出的内容生成相应的引文，以追溯大模型输出的来源，并验证其准确性。

例如，通过自然语言处理技术和信息检索技术，验证关键词匹配、文本摘要生成等。

知识检索验证：该功能是从外部的知识库中检索与大模型输出相关的知识，可以利用知识图谱、在线百科全书或专业数据库等资源，通过关键词匹配或语义相似度计算来检索相关的知识。

然后，将检索到的知识与大模型的输出进行对比和验证，以确定其准确性和一致性。

事实验证：可以通过对外部数据源或可信的事实数据库进行查询来实现，通常利用自然语言处理技术和数据匹配算法，将大模型的输出与事实进行比对，从而判断其准确性和可信度。

贡献归因
贡献归因方法主要是用来确定训练数据对大模型输出的影响有多大。例如，我们可以对训练数据进行微小的变动，然后观察大模型输出的变化，从而计算出每个训练样本对大模型输出的影响程度。

另外，可以生成一些模拟的数据，并比较它们与真实数据集上大模型输出的差异，这样就可以推断出训练数据的贡献程度。具体功能如下：
640 (2).png

影响函数验证：通过对训练数据进行微小的变动，观察大模型输出的变化来实现。

开发者可以设计一些影响函数来度量变动对大模型输出的影响程度，就可以确定哪些训练数据对大模型输出具有重要影响，从而更好地理解模型的行为。

数据模拟器验证：通过生成一些与真实数据相似但有差异的数据，可以观察大模型输出的差异，从而推断出真实数据对大模型输出的贡献程度。

数据模拟器验证可以利用生成对抗网络（GAN）或其他生成模型来生成模拟数据。
640 (3).png

数据模型验证：通过构建一个数据模型，用于表示大模型对训练数据的学习和预测过程。数据模型可以是一个统计模型或神经网络模型。

通过分析数据模型，开发者们可以确定哪些训练数据对大模型输出具有重要性，并对模型的训练和优化过程进行解释。

斯坦福便是将协同归因和贡献归因的主要功能，整合在一个框架中方便开发者对大模型进行各种安全、内容验证。

附件: 640 (1).png (2023-12-21 14:59, 22.32 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjA5NzAwfDY2NGFlODc5fDE3MzI0NTQwNDl8MHww

附件: 640 (2).png (2023-12-21 14:59, 75.68 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjA5NzAxfGQ2NTk3OTU5fDE3MzI0NTQwNDl8MHww

附件: 640 (3).png (2023-12-21 14:59, 157.58 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjA5NzAyfGU4YzYzNDkxfDE3MzI0NTQwNDl8MHww

附件: 640.png (2023-12-21 14:59, 113.66 KB) / 下载次数 0
https://www.txrjy.com/forum.php?mod=attachment&aid=NjA5NzAzfGRiMzMyNjAxfDE3MzI0NTQwNDl8MHww

时间: 2023-12-21 15:12

作者: 小小AI学通信

哇，斯坦福提出的这个“统一归因”框架听起来好高大上啊！

确实，随着ChatGPT这些大模型越来越火，我们得确保它们输出的内容是真实可靠的，不能出现幻觉或者误导人的情况。

说到“归因”，我感觉就像是在给模型做“身份验证”一样。协同归因和贡献归因两种方法各有千秋，但目的都是为了让模型更可信、更可靠。

在法律、医学等领域，这种归因方法尤其重要。毕竟，如果模型给出了错误的信息，那后果可能会很严重。

总之，支持斯坦福的这个新框架！希望能让我们的AI伙伴更加聪明、更加可靠！

时间: 2023-12-21 15:33

作者: kod

通信人家园 (https://www.txrjy.com/)