中国移动九天团队提出大模型调色板：一种可控文本生成的解决方案

ttxx

中国移动九天人工智能团队（中国移动研究院人工智能与智慧运营中心），作为中国移动在人工智能领域的核心力量，自2013年起便致力于推动人工智能技术的研发与应用。该团队由中国移动集团级首席科学家、IEEE Fellow冯俊兰博士领衔，依托中国移动全球领先的算网基础设施、海量数据资源和丰富应用场景优势，全力打造“九天”人工智能品牌。九天人工智能团队不仅是中国移动在AI领域的“国家队”，更是推动行业智能化转型的重要引擎。目前，九天人工智能团队已汇聚超过800名优秀研发人员，其中硕博占比高达90%，来自头部院校的博士近百人。团队牵头承担了20余项国家和省部级科创项目，发表了国际顶会、顶刊论文180余篇，获得发明专利1039项，并在顶级AI竞赛中荣获TOP5奖项19项。

大模型在文本生成方面取得了卓越的成就，通过合适的prompt设计，往往可以使得生成结果符合特定的需求。但是为属性繁多的任务设计出合适的prompt是很困难的。一种解决方案是通过线性组合方式或者其变种将每个属性对应的模型在生成logits上进行融合。鉴于属性之间可能存在的冲突现象，这种方案无法保证模型的主属性不受其他模型的干扰。

在这项研究中，我们借助贝叶斯公式及最小化条件互信息策略，对属性冲突现象进行了严谨的建模，最终得到一种新颖的多属性模型融合策略，并将其拓展到单属性prompt设计方面。同时归纳出两条多属性模型融合方案的指导准则，藉由此在理论上证明了我们的方案要优于线性组合方案。我们在敏感信息控制、生成情感等单/多个属性融合场景下验证了方法的有效性。

• 论文题目：Palette of Language Models: A Solver for Controlled Text Generation
• 论文地址：https://arxiv.org/pdf/2503.11182

背景

可控文本生成算法是控制语言模型输出的主要策略，对于对齐人类偏好、风格转换、话题切换等场景有着重要的应用意义。

在大模型时代，通过简单的 prompt 设计往往可以实现这种需求，例如：指令「请以安抚的口吻回复客户的问询」会控制模型生成具有积极意义的回复，充分考虑用户当前情感并妥善处理用户问题。

但是当需要控制属性数量较多、且控制力度更细节时，简单的 prompt 设计将无法有效支撑这样的场景。

例如「回复中要有 40% 的积极情感、20% 的正式表述、夹杂 10% 的孩童口吻」，这样的 prompt 设计很难被模型理解，而其中的部分属性也会由于属性数量的庞大被弱化无法有效表达。

线性组合及其变种（union 及 intersection）是多属性模型融合的一种有效方法，通过为每个属性分配权重控制该属性的表达效果：

具体地如上式所述，计算各个属性模型在输出 logits 上的值并进行组合，得到最终要控制的复杂属性的分布。每个属性都有对应的系数，随着该系数的增大，最终模型会越来越表现出该属性的特点。union 与 intersection 方式分别指将属性求和替换为取最大值与最小值。

属性之间往往存在冲突现象，这是由于语言的表达方式很难做到属性级别的细分，例如上面的例子中，「以孩童的语气」属性中会暗含「不够正式的说法」，这与「正式表述」属性是矛盾的，在融合过程中前者必然会弱化后者的表达。线性组合方案并未对这种现象进行显式的建模，因此当存在属性冲突时，受影响属性的系数不会按照理论上的比重控制最终组合效果。

方法

我们提出了语言模型调色板方法，通过贝叶斯公式与最小化条件互信息，对属性模型的组合过程进行了合理的建模。

图 1 语言模型调色板设计

属性组合过程被建模为：给定若干具有某种主属性的模型，我们需要寻找一种合适的组合方案得到某个复杂融合属性的分布，同时要满足组合之后任意两个属性间的影响作用最小。

受条件互信息的启发，我们将属性间影响的度量 M 建模为在最终组合分布条件下，这两种属性间的互信息值，也就是：

为了充分利用该度量方式，我们借助贝叶斯公式将最终组合分布 p(Z) 分别进行单属性与两属性条件下的分解，并将结果进行整合，从而得到 p(Z) 与任意两个属性间的关系：

最小化条件互信息的引入使得我们可以对上式中属性间杂糅的表达形式进行解耦，并扩展到 N 个属性组合。借助柯西不等式，我们对结果进行简化处理：

我们将属性的后验概率定义为属性强度 Si，其代表了在最终分布条件下，该属性的贡献值。因此，最终的属性组合方案可以表示为：

这里 M1 与 M2 为归一化系数。上述组合策略以不带任何属性倾向的模型 Pb 作为 base，用来控制最终分布 logits 的合理性与稳定性，而单属性 prompt 设计也可以据此建模为该属性与 base 模型的组合，这样就实现了单属性与多属性在策略上的统一性。

我们提出「属性 token」的概念，对其进行数学上的定义，并基于此归纳出两条多属性组合方案的设计准则：

1）属性表达与属性强度之间的正相关关系

2）属性增强理念

具体地，我们的方法满足下列特征。

其一，随着属性强度 Si 的增加，「属性 token」的概率值会相应增加：

其二，我们的方法相比于线性组合方案，属性增强的幅度会更大：

这两条准则在一定程度上可以衡量某种多属性组合策略的优越性，也为多属性组合方案提供了指导。

结果

在实验过程中，考虑到公式中 1/p 的结果可能出现很大的情况，我们使用 sigmoid(.) 函数将其约束并保持同样的单调性：

借助上述设计准则，我们同样证明了这种替换方式的有效性：

1）sigmoid(.) 属性正相关：

2）sigmoid(.) 属性增强：

我们在单/多属性组合场景下进行实验验证，结果都优于 baseline 方法。如下表 1 为情感单属性控制；表 2 为设计的反向敏感信息与情感融合的多属性控制，其中敏感信息对情感具有弱化作用，我们的方法可以减少这种弱化，因此最终情感值都会高于线性组合方法；表 3 设计为正向敏感信息与情感融合的多属性控制，其中敏感信息对情感具有强化作用，我们的方法可以减少这种强化，因此最终相对情感值都会低于线性组合方法。

表 1 情感转换控制（单属性）

表 2 敏感信息 + 情感控制（多属性，弱化作用）

表 3 敏感信息 + 情感控制（多属性，强化作用）

同时我们在情感属性控制场景下验证了属性表达与属性强度之间的正相关关系，如图 2 所示：

图 2 属性表达与属性强度正相关关系

另外，我们也发现组合公式中的互补事件系数 t 对最终组合结果影响较小，因此在实际组合场景中，我们可以只使用公式的前半部分进行属性控制，而这部分表达与线性组合方式在形式上是相近的，区别在于 1/p 的引入。

图 3 互补事件系数 t 对属性表达影响（红色线条表示 t=0）

总结

我们提出了一种新颖的多属性组合策略，有效解决了传统线性组合方式面临的属性冲突难题，并从理论上归纳出属性组合策略的指导准则。该策略是对体系化人工智能大闭环框架中原子能力组合方式的探索，对于「如何准确衡量原子能力的边界并规避边界交叉现象」问题给出了有效答案。

参考文献：

[1]冯俊兰，体系化人工智能，北京邮电大学学报，2024

[2]Hanqing Zhang, Haolin Song, Shaoyu Li, Ming Zhou, and Dawei Song. 2023. A survey of controllable text generation using transformer-based pre-trained language models. Preprint, arXiv:2201.05337.

[3]Jasper Dekoninck, Marc Fischer, Luca Beurer-Kellner, and Martin Vechev. 2024. Controlled text generation via language model arithmetic. In The Twelfth International Conference on Learning Representations.

[4]Xin Liu, Muhammad Khalifa, and Lu Wang. 2023. Bolt: Fast energy-based controlled text generation with tunable biases. Preprint, arXiv:2305.12018.

[5]Jonathan Pei, Kevin Yang, and Dan Klein. 2023. PREADD: prefix-adaptive decoding for controlled text generation. In Findings of the Association for Computational Linguistics: ACL 2023, Toronto, Canada, July 9-14, 2023, pages 10018–10037. Association for Computational Linguistics.

[6]Timo Schick, Sahana Udupa, and Hinrich Schütze. 2021. Self-diagnosis and self-debiasing: A proposal for reducing corpus-based bias in nlp. Preprint, arXiv:2103.00453.

[7]Kevin Yang and Dan Klein. 2021. FUDGE: controlled text generation with future discriminators. In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT 2021, Online, June 6-11, 2021, pages 3511–3535. Association for Computational Linguistics.


来源：网易