构建可扩展的 RAG 系统：生产环境的经验教训

检索增强生成（RAG）已成为企业 AI 应用的基石，使语言模型能够访问和推理专有数据。在 Qamaq，我们花了一年多的时间构建和优化 RAG 基础设施，以每日处理数百万次查询。以下是我们在过程中获得的宝贵经验。

规模化的挑战

构建一个在演示中运行良好的 RAG 系统很简单。但构建一个服务于数千个组织、每个组织拥有从几份文档到数百万条记录的独特知识库的系统，则是完全不同的挑战。我们的系统需要处理多样化的文档类型，保持亚秒级的响应时间，并确保检索到的上下文始终相关且最新。

一个好的 RAG 系统和一个优秀的 RAG 系统之间的区别不在于模型——而在于检索管道。将正确的上下文提供给模型，即使较小的模型也能产生卓越的结果。

关键的架构决策

几个架构选择对实现可靠、可扩展的 RAG 性能至关重要：

• 混合搜索：我们将密集向量搜索与稀疏关键词匹配（BM25）相结合，同时捕获语义相似性和精确术语匹配，检索准确率提高了 35%
• 智能分块：我们不使用固定大小的分块，而是采用文档结构感知分块，尊重标题、段落和逻辑段落以保留上下文
• 多索引策略：每个组织获得独立的索引和可配置的嵌入模型，使我们能够针对不同的内容类型和语言进行优化
• 重排序管道：轻量级交叉编码器对初始检索的顶部候选进行重新排序，显著提高了最终上下文窗口的精确度

Qamaq RAG 的未来

我们正在大力投资智能体式 RAG——在这种系统中，AI 智能体不仅仅检索和生成，还主动决定寻找什么信息、何时提出澄清问题，以及如何将多个来源综合成连贯的答案。未来是会思考的检索，而不仅仅是搜索。

构建生产级 RAG 系统需要专注于数据质量、检索精确度和系统可靠性。没有捷径，但结果——真正理解并利用组织知识的 AI——是变革性的。