终于等到你，港大首发「轻量级RAG神器」MiniRAG，1.5B手机端可用

see122

还在为部署RAG系统的庞大体积和高性能门槛困扰吗？港大黄超教授团队最新推出的轻量级MiniRAG框架很好地解决了这一问题。通过优化架构设计，MiniRAG使得1.5B级别的小模型也能高效完成RAG任务，为端侧AI部署提供了更多可能性。

传统RAG架构主要依赖大型语言模型(LLMs)的强大能力，但这种设计难以适应小型语言模型(SLMs)的固有局限，特别是在复杂查询理解、多步推理、语义匹配和信息合成等关键环节。

为此，MiniRAG重新设计了信息检索和生成流程，以极简和高效为核心原则，通过创新的轻量级架构设计，成功实现了一个高效的知识增强系统，无需依赖大型语言模型，在保证性能表现的同时有效保护用户数据隐私。

主要设计思路基于对小型语言模型的三个关键发现：

<ol>

虽然在复杂语义理解上存在局限，但在模式匹配和局部文本处理方面表现优异

通过引入显式结构信息，可有效弥补有限的语义理解能力

将复杂RAG任务分解为简单明确的子任务，可在不依赖高级推理能力的情况下保持系统稳定性
</ol>
基于以上认知，MiniRAG提出了两个核心创新组件：异构图索引和轻量级基于图的知识检索，以实现高效精准的信息检索。

项目链接: https://github.com/HKUDS/MiniRAG

实验室主页: https://github.com/HKUDS

为了更好地评估MiniRAG在实际应用场景中的表现，研究团队同时推出了专门面向端侧环境的评测数据集——LiHua-World。该数据集通过模拟真实的个人数据，全面覆盖了端侧场景下常见的信息检索和知识增强需求。

实验结果显示，当将大型语言模型(LLM)替换为小型语言模型(SLM)时，各框架表现差异显著：GraphRAG则因无法保证生成质量而完全失效，LightRAG的性能断崖式下降(最高降幅达45.43%)。

相比之下，MiniRAG展现出优秀的稳定性——性能降幅最大仅为21.26%，最小仅0.79%。更值得注意的是，MiniRAG仅使用了约1/4的存储空间，便实现了这一出色表现。

MiniRAG框架设计

语义感知异构图索引

为应对端侧RAG的特殊挑战，MiniRAG提出了语义感知异构图索引机制。该机制通过系统性地整合文本块和命名实体，构建了一个富有层次的语义网络，实现高效精准的信息检索。具体而言，异构图包含两类核心节点：

实体节点：包含从文本中提取的关键语义元素，如事件、地点、时间以及特定领域概念

文本块节点：保持原始文本的连贯性和完整上下文信息

这种双层节点结构设计使文本块能在检索阶段直接参与匹配，有效确保检索结果的相关性和准确性。同时，该方法也巧妙规避了小型语言模型在文本总结能力上的局限，最大程度减少信息失真。

轻量级知识检索

考虑到端侧RAG系统在计算能力和数据隐私方面的限制，无法使用大型语言模型和复杂文本嵌入模型。为此，MiniRAG设计了创新的图式知识检索机制，通过结合语义感知异构图和轻量级文本嵌入，实现高效精准的知识获取。

该检索机制包含两个核心设计：

查询语义映射在检索阶段，系统需要准确识别查询相关的文本元素，以支持模型生成精确响应。MiniRAG充分利用小型语言模型在实体提取方面的优势，通过简化的查询解析流程，将用户查询高效映射到图索引结构中。

拓扑增强检索采用两阶段检索策略，首先基于嵌入相似度确定初始种子实体，再利用异构图的拓扑结构，沿着相关推理路径发现更多相关信息。

模拟真实端侧场景的评测数据集: 假如你是LiHua...

针对现有端侧RAG评测数据集的局限，研究团队创新性地构建了LiHua-World数据集。该数据集通过模拟虚拟用户「李华」一年的日常通讯记录，真实还原了端侧检索增强生成的应用场景。

数据集特点：

<ol>

全面覆盖单跳查询、多跳推理和信息总结等多类型问题；

提供专业人工标注的标准答案和支持文档；

内容涵盖社交互动、健身训练、娱乐活动、生活事务等日常场景；

特别适配端侧RAG系统的评测需求；
</ol>
实验评估与分析

为全面验证MiniRAG在端侧RAG场景下与小型语言模型结合的优势，研究团队设计了系统化的评估方案，重点聚焦以下三个核心维度：

<ol>

系统性能对比：通过与当前主流RAG系统的对比实验，全面评估MiniRAG在检索准确率、计算效率和资源消耗等关键指标上的表现

组件效果分析：深入研究MiniRAG核心组件的性能贡献，包括语义感知异构图索引机制的检索效果、轻量级检索策略的计算开销，以及各模块间的协同效应

实际场景案例研究：选取多个具有代表性的应用场景，重点验证系统在处理多步推理、复杂查询等高挑战任务时的实际表现。通过详实的案例分析，展示MiniRAG在真实应用环境中的优势与潜力。
</ol>

系统性能对比

现有RAG系统的局限性

实验结果表明，现有RAG系统在迁移至小型语言模型(SLMs)时存在严重的性能瓶颈。具体而言，LightRAG的整体性能显著下降(降幅达45.43%)，而GraphRAG在小模型场景下甚至无法维持基本的生成能力。这些问题充分暴露了传统RAG架构对大型语言模型的深度依赖。

MiniRAG的创新突破

相比之下，MiniRAG通过双节点异构图索引结构和拓扑增强检索机制，有效降低了对模型能力的依赖。实验数据显示，在迁移至小型语言模型时，MiniRAG的性能损失得到显著控制 - 最大降幅仅为21.26%，最小降幅更是低至0.79%，展现出优异的模型适应性。

MiniRAG显著的存储优化

实验评估显示，MiniRAG在存储效率优化方面取得了突破性进展。与采用gpt-4-mini的LightRAG基线系统相比，MiniRAG仅需25%的存储空间即可达到相当的性能水平。这种在大幅降低存储需求(节省75%)的同时还能保持高检索准确率的特性，不仅展现了MiniRAG在系统架构设计上的创新，更为资源受限场景下的RAG应用开辟了新的可能性。

组件效果分析

为全面评估MiniRAG各组件的性能贡献，研究团队设计了两组系统化的消融实验。第一组实验(-I)将MiniRAG的异构图索引替换为传统的基于描述的索引方法，该方法与LightRAG和GraphRAG相似，主要依赖模型的语义理解能力来生成实体与关系描述。

第二组实验(-Ri)通过在图检索过程中选择性停用特定功能模块，以量化分析各模块对系统整体表现的影响。这一严谨的实验框架使我们能够精确评估每个创新组件的实际贡献。

基于小语言模型RAG的挑战

消融实验结果明确显示，当使用传统的文本语义驱动索引技术(-II)替代MiniRAG的索引方法时，系统性能出现显著下降。这一发现有力验证了研究团队的初始假设：小型语言模型(SLMs)在复杂知识图谱生成和全面语义理解等方面存在固有局限。

Reasoning Path Discovery的有效性

结构组件的关键性通过实验得到充分证实。无论是移除边信息(-RedgeRedge)还是块节点(-RchunkRchunk)，都会导致系统性能明显下降。这些组件展现出双重价值：既通过查询引导的推理路径发现优化了查询匹配效果，又在数据索引阶段有效弥补了SLMs的能力限制。

实际场景案例研究

MiniRAG通过一个复杂的餐厅识别案例，有力展示了其在实际应用中的卓越性能，特别是在处理多约束查询和克服小型语言模型局限性方面的优势。

挑战：复杂查询解析的困境

研究团队选取了一个具有挑战性的测试案例，查询内容为：Wolfgang和Li Hua为庆祝Wolfgang升职而共进晚餐的那家意大利餐厅叫什么名字？这一查询涉及多重约束条件，要求系统能从在线聊天数据中准确识别特定意大利餐厅及其相关上下文。尽管LightRAG采用了phi-3.5-mini-instruct模型，但受限于小型语言模型的固有局限性，特别是在提取high-level信息和处理图索引噪声方面的不足，导致其检索效果不够理想。

MiniRAG：创新的知识发现机制

MiniRAG通过其独特的查询引导推理路径发现机制成功应对了上述挑战。系统利用异构图索引结构，首先预测答案类型（如「社交互动」或「地点」），然后通过策略性分解查询要素（专注于「意大利场所」和「餐厅」语境），结合目标实体匹配，实现了精确且具有上下文关联的知识检索。这种结构化推理方法使MiniRAG能够精确导航知识空间，最终成功定位目标餐厅——Venedia Grancaffe。

结论

MiniRAG作为一种创新的检索增强生成系统，成功突破了小型语言模型(SLMs)在传统RAG框架中的应用瓶颈。

系统通过创新的异构图索引架构和轻量级启发式检索机制，有效融合了文本与图式RAG方法的优势，同时显著降低了对语言模型能力的依赖。

实验验证表明，即使采用SLMs，MiniRAG仍能达到与大语言模型方案相当的性能水平。为推动设备端RAG技术发展，研究团队还发布了首个针对性评估基准数据集，特别关注个人通信场景和多约束查询等实际应用场景。

这些创新不仅标志着设备端RAG系统研究的重要进展，更为保护用户隐私、提升资源效率的边缘AI应用开辟了新的发展方向。

参考资料：

https://github.com/HKUDS/MiniRAG


来源：36kr