搭建个人 RAG 知识库
项目目标 将个人笔记和 PDF 文档转化为可交互的知识库,让 AI 能回答关于你学习内容的问题。 RAG 流程图./personalragkb/diagram.svg 第一步:文档处理 python from langchain.docum...
项目目标 将个人笔记和 PDF 文档转化为可交互的知识库,让 AI 能回答关于你学习内容的问题。 RAG 流程图./personalragkb/diagram.svg 第一步:文档处理 python from langchain.docum...
从闭卷到开卷 传统的 LLM 像一个闭卷考试——只能依赖训练时记住的知识。RAG 给了模型"开卷"的能力,让它能在回答时查阅外部文档。 RAG 流程示意图./ragarchitectureevolution/diagram.svg 架构设计...
切片策略 固定大小的切片在遇到表格和代码块时会把语义切断。更好的做法是按文档结构(标题、段落)动态切片。 检索质量 TopK 检索返回的文档可能不相关。使用重排序模型可以将准确率提升 1530%。 成本控制 每次查询都调用 Embeddin...
RAG 架构概述 RAG 结合了检索和生成两大能力:先将文档存入向量数据库,用户提问时检索相关文档,再交由 LLM 生成答案。 搭建步骤 python from langchain.document_loaders import TextL...
Pinecone 全托管的向量数据库服务,零运维负担。适合快速原型和小型团队。 python import pinecone pinecone.initapi_key="...", environment="uswest1gcp" inde...
RAG 的发展历程 从 2020 年 Lewis 等人首次提出 RAG,到 2024 年成为企业 LLM 应用的标配架构。 核心组件 索引阶段 文档加载 → 文本分割 → 向量化 → 存储 检索阶段 查询向量化 → 相似度搜索 → TopK...