欢迎来到道一AGI
关于这个网站 道一AGI 是我个人的人工智能学习笔记与知识管理体系。 在这里，我会记录关于以下主题的学习心得： 大语言模型（LLM）：Transformer 架构、预训练、微调、提示工程 AI Agent：智能体设计、工具调用、多智能体协作...
全部文章
33 篇
LLM 训练基础设施指南
GPU 选型 训练大模型首先面临的是硬件选择： GPU 显存 适用场景 A100 80GB 80GB 主流训练卡 H100 80GB 80GB 新一代主力 L40S 48GB 48GB 微调推理 集群网络 多机多卡训练时，网络带宽是主要瓶颈...
理解 Transformer 中的位置编码
为什么需要位置编码 Transformer 并行处理整个序列，不像 RNN 那样逐步读取。这种并行性带来了效率，但也丢失了序列的顺序信息。位置编码正是为了解决这个问题。 Transformer 架构概览./positionalencodin...
2024 大语言模型年度综述
模型规模竞赛降温 2024 年，业界从"越大越好"转向"更聪明地训练"。小型模型通过更好的数据和训练策略开始超越更大的模型。 MoE 架构成为主流 从 Mixtral 到 GPT4（传闻），MoE 混合专家模型解析 中介绍的 MoE 架构在...
搭建个人 RAG 知识库
项目目标 将个人笔记和 PDF 文档转化为可交互的知识库，让 AI 能回答关于你学习内容的问题。 RAG 流程图./personalragkb/diagram.svg 第一步：文档处理 python from langchain.docum...
构建 AI Agent 工作流
ReAct 模式 ReAct 将推理 Reasoning 和行动 Acting 结合起来，让 Agent 在思考和执行之间交替进行。 Agent 执行循环./agentworkflow/diagram.svg 实现步骤 定义工具集 pyth...
图解 Transformer 注意力机制
从一个例子开始 想象我们要翻译这句话："The cat sat on the mat"。 在处理 "sat" 这个词时，SelfAttention 让模型能够"看到"句子中所有相关的词——"cat" 是主语，"on" 和 "mat" 是位置...
多 Agent 协作模式探索
协作模式分类 顺序模式 Agent 按顺序执行任务，每个 Agent 的输出是下一个 Agent 的输入。适合线性工作流。 并行模式 多个 Agent 同时处理不同子任务，最后汇总结果。适合可分解的复杂任务。 辩论模式 两个 Agent 分...
从 RAG 看 AI 架构的演进
从闭卷到开卷 传统的 LLM 像一个闭卷考试——只能依赖训练时记住的知识。RAG 给了模型"开卷"的能力，让它能在回答时查阅外部文档。 RAG 流程示意图./ragarchitectureevolution/diagram.svg 架构设计...
Transformer 架构详解
什么是 Transformer Transformer 是 Google 在 2017 年提出的神经网络架构，彻底改变了 NLP 领域。它完全基于注意力机制，摒弃了传统的 RNN 和 CNN 结构。 SelfAttention 机制 Sel...
注意力机制深入理解
注意力的直觉理解 注意力机制模仿了人类的注意力——当我们看一幅画时，不会平均地关注每个像素，而是聚焦在某些关键区域。 缩放点积注意力 $$ \text{Attention}Q, K, V = \text{softmax}\left\frac...
大模型预训练技术概览
预训练数据 大规模预训练数据的质量直接决定模型性能。常见数据源包括 Common Crawl、Wikipedia、书籍和代码仓库。 并行训练策略 数据并行 每个 GPU 持有完整模型副本，处理不同的数据批次。 模型并行 将模型切分到多个 G...
RAG 生产落地避坑指南
切片策略 固定大小的切片在遇到表格和代码块时会把语义切断。更好的做法是按文档结构（标题、段落）动态切片。 检索质量 TopK 检索返回的文档可能不相关。使用重排序模型可以将准确率提升 1530%。 成本控制 每次查询都调用 Embeddin...
RLHF 原理与实践
RLHF 的三阶段 第一阶段：监督微调（SFT） 收集人类标注的高质量指令回答对，在基座模型上微调。 第二阶段：训练奖励模型 让人类标注者对多个回答进行偏好排序，训练一个奖励模型来预测人类偏好。 第三阶段：PPO 强化学习 使用 PPO 算...
MoE 混合专家模型解析
MoE 核心思想 MoE 将 FFN 层替换为多个"专家"子网络，每个 token 通过路由机制只激活部分专家。 路由机制 TopK 路由是最常见的策略——每个 token 选择得分最高的 K 个专家： python def routerx...
神经网络基础回顾
反向传播 反向传播是训练神经网络的核心算法。它通过链式法则计算损失函数对每个参数的梯度。 python def backwardloss, parameters: grads = {} grad = 1.0 for layer in rev...
用 PyTorch 实现 Transformer
项目结构 我们会实现 EncoderDecoder 结构的 Transformer，包含：Embedding、Positional Encoding、MultiHead Attention、Feed Forward 和完整的 Encoder...
LangChain 实战：构建 RAG 应用
RAG 架构概述 RAG 结合了检索和生成两大能力：先将文档存入向量数据库，用户提问时检索相关文档，再交由 LLM 生成答案。 搭建步骤 python from langchain.document_loaders import TextL...
LoRA 微调实战
LoRA 原理 LoRA 在原始权重旁添加低秩矩阵 $A$ 和 $B$，只训练这些小矩阵： $$ W' = W + \alpha \cdot AB $$ 其中 $A \in \mathbb{R}^{d \times r}$, $B \in ...
vLLM 部署指南
vLLM 简介 vLLM 是 UC Berkeley 开源的 LLM 推理框架，通过 PagedAttention 技术实现接近零浪费的 KV 缓存管理。 快速开始 bash pip install vllm vllm serve meta...
Agent 框架对比：AutoGPT vs MetaGPT
AutoGPT AutoGPT 将任务分解为子目标，通过循环调用 LLM 来逐步执行。特点是自主性强，但容易出现循环和跑偏。 MetaGPT MetaGPT 借鉴软件公司的组织架构，让多个 Agent 扮演不同角色（PM、架构师、工程师）协...
读《Attention Is All You Need》
为什么这篇论文如此重要 2017 年之前，NLP 领域的主流是 RNN/LSTM 及其变体。这篇论文用一句话改变了历史："Attention Is All You Need"。 论文的精妙设计 论文最打动我的不是 SelfAttention...
AGI 离我们还有多远
乐观派 vs 保守派 OpenAI 的 Sam Altman 认为 AGI 可能在 510 年内到来。而 Yann LeCun 则认为我们离 AGI 还很远，自回归 LLM 不是通向 AGI 的正确道路。 当前 LLM 的局限性 缺乏真正的...
开源 vs 闭源大模型之争
闭源阵营 OpenAI 的 GPT4、Anthropic 的 Claude 代表了闭源路线的顶尖水平。优势在于质量可控、商业化清晰。 开源阵营 Meta 的 Llama 系列、Mistral、Qwen 等开源模型正在快速追赶。开源促进了社区...
AI 对齐问题的哲学思考
对齐问题的本质 如何确保 AI 系统的目标与人类价值观一致？这不是一个纯技术问题。 技术对齐 vs 价值对齐 技术对齐：让模型准确遵循指令——如 RLHF 原理与实践 介绍的方法。 价值对齐：让模型理解人类的深层价值观——这涉及哲学、伦理学...
从零构建 GPT 模型
概述 跟随 Andrej Karpathy 的 nanoGPT，我们从零构建一个能生成文本的小型 GPT。 模型架构 python class GPTnn.Module: def __init__self, vocab_size, n_em...
Prompt Engineering 完全指南
基础技巧 ZeroShot Prompting 直接提问，不提供示例。 FewShot Prompting 提供 25 个示例让模型学习模式。 ChainofThought 在 prompt 中加入"Let's think step by ...
Function Calling 入门教程
什么是 Function Calling Function Calling 让 LLM 能够调用外部工具和 API，从"只会说话"变成"会做事"。 基本用法 python tools = { "type": "function", "fun...
向量数据库入门：Pinecone vs Milvus
Pinecone 全托管的向量数据库服务，零运维负担。适合快速原型和小型团队。 python import pinecone pinecone.initapi_key="...", environment="uswest1gcp" inde...
RAG 技术综述
RAG 的发展历程 从 2020 年 Lewis 等人首次提出 RAG，到 2024 年成为企业 LLM 应用的标配架构。 核心组件 索引阶段 文档加载 → 文本分割 → 向量化 → 存储 检索阶段 查询向量化 → 相似度搜索 → TopK...
多模态大模型综述
从单模态到多模态 人类通过视觉、听觉、触觉多个通道感知世界。多模态大模型试图让 AI 也具备这种能力。 代表性模型 GPT4V / GPT4o OpenAI 的原生多模态模型，支持图像理解、OCR、图表分析。 LLaVA 开源社区的代表作，...
AI Agent 研究现状与展望
Agent 的核心能力 一个完整的 AI Agent 需要具备四大能力： 1. 感知：理解环境和用户输入 2. 规划：将复杂任务分解为子任务 3. 记忆：短期和长期记忆管理 4. 行动：调用工具执行任务 主流框架 如 Agent 框架对比：...
2025 AI Agent 技术报告
年度高光 2025 年是 AI Agent 从概念验证走向生产落地的一年。 Agent 执行循环模型./agenttechreport2025/diagram.svg 关键趋势 从单体到多体 单一 Agent 已不能满足复杂场景需求。多 A...