RAG 的数学理解
问题的定义 探讨 RAG 之前,我们需要对我们要解决的问题做一个重新的理解。传统的 LLM 是一个语言的概率预测模型,它描述的是语言的自然分布概率,所以对于这样的模型,没有回答的答案哪个更好的说法,只有回答的答案哪个概率更高的描述。 ...
问题的定义 探讨 RAG 之前,我们需要对我们要解决的问题做一个重新的理解。传统的 LLM 是一个语言的概率预测模型,它描述的是语言的自然分布概率,所以对于这样的模型,没有回答的答案哪个更好的说法,只有回答的答案哪个概率更高的描述。 ...
RAG 技术 检索增强的生成系统(Retrieve Augment Generation)简称 RAG。 原理是在大语言模型的基础上,辅助检索技术,让大语言模型能够获得与用户问题相关的更多上下文信息,使得的大语言模型可以: 降低幻觉出现概率 适应垂直场景应用 弥补数据实时性不足 一个典型 RAG 系统的架构 RAG 系统的核心技术要素 文档导入 文档切分 文档向量化 向量数据库选型 检索算法 文档排序 Prompt 生成 $\dots$ 市面上大部分的关于 RAG 的介绍都是类似上面的逻辑进行的,然后就顺利的将 某一种 RAG 的方法 变成了 通用 RAG 的框架,从而让我们迷失了 RAG 的真正价值。 ...