欢迎来到道一AGI
关于这个网站 道一AGI 是我个人的人工智能学习笔记与知识管理体系。 在这里，我会记录关于以下主题的学习心得： 大语言模型（LLM）：Transformer 架构、预训练、微调、提示工程 AI Agent：智能体设计、工具调用、多智能体协作...
精选推荐
查看全部 →2024 大语言模型年度综述
模型规模竞赛降温 2024 年，业界从"越大越好"转向"更聪明地训练"。小型模型通过更好的数据和训练策略开始超越更大的模型。 MoE 架构成为主流 从 Mixtral 到 GPT4（传闻），MoE 混合专家模型解析 中介绍的 MoE 架构在...
Transformer 架构详解
什么是 Transformer Transformer 是 Google 在 2017 年提出的神经网络架构，彻底改变了 NLP 领域。它完全基于注意力机制，摒弃了传统的 RNN 和 CNN 结构。 SelfAttention 机制 Sel...
大模型预训练技术概览
预训练数据 大规模预训练数据的质量直接决定模型性能。常见数据源包括 Common Crawl、Wikipedia、书籍和代码仓库。 并行训练策略 数据并行 每个 GPU 持有完整模型副本，处理不同的数据批次。 模型并行 将模型切分到多个 G...
学习笔记
查看全部 →理解 Transformer 中的位置编码
为什么需要位置编码 Transformer 并行处理整个序列，不像 RNN 那样逐步读取。这种并行性带来了效率，但也丢失了序列的顺序信息。位置编码正是为了解决这个问题。 Transformer 架构概览./positionalencodin...
注意力机制深入理解
注意力的直觉理解 注意力机制模仿了人类的注意力——当我们看一幅画时，不会平均地关注每个像素，而是聚焦在某些关键区域。 缩放点积注意力 $$ \text{Attention}Q, K, V = \text{softmax}\left\frac...
MoE 混合专家模型解析
MoE 核心思想 MoE 将 FFN 层替换为多个"专家"子网络，每个 token 通过路由机制只激活部分专家。 路由机制 TopK 路由是最常见的策略——每个 token 选择得分最高的 K 个专家： python def routerx...
技术实践
查看全部 →搭建个人 RAG 知识库
项目目标 将个人笔记和 PDF 文档转化为可交互的知识库，让 AI 能回答关于你学习内容的问题。 RAG 流程图./personalragkb/diagram.svg 第一步：文档处理 python from langchain.docum...
构建 AI Agent 工作流
ReAct 模式 ReAct 将推理 Reasoning 和行动 Acting 结合起来，让 Agent 在思考和执行之间交替进行。 Agent 执行循环./agentworkflow/diagram.svg 实现步骤 定义工具集 pyth...
RAG 生产落地避坑指南
切片策略 固定大小的切片在遇到表格和代码块时会把语义切断。更好的做法是按文档结构（标题、段落）动态切片。 检索质量 TopK 检索返回的文档可能不相关。使用重排序模型可以将准确率提升 1530%。 成本控制 每次查询都调用 Embeddin...
LangChain 实战：构建 RAG 应用
RAG 架构概述 RAG 结合了检索和生成两大能力：先将文档存入向量数据库，用户提问时检索相关文档，再交由 LLM 生成答案。 搭建步骤 python from langchain.document_loaders import TextL...
阅读思考
查看全部 →从 RAG 看 AI 架构的演进
从闭卷到开卷 传统的 LLM 像一个闭卷考试——只能依赖训练时记住的知识。RAG 给了模型"开卷"的能力，让它能在回答时查阅外部文档。 RAG 流程示意图./ragarchitectureevolution/diagram.svg 架构设计...
读《Attention Is All You Need》
为什么这篇论文如此重要 2017 年之前，NLP 领域的主流是 RNN/LSTM 及其变体。这篇论文用一句话改变了历史："Attention Is All You Need"。 论文的精妙设计 论文最打动我的不是 SelfAttention...
开源 vs 闭源大模型之争
闭源阵营 OpenAI 的 GPT4、Anthropic 的 Claude 代表了闭源路线的顶尖水平。优势在于质量可控、商业化清晰。 开源阵营 Meta 的 Llama 系列、Mistral、Qwen 等开源模型正在快速追赶。开源促进了社区...
AI 对齐问题的哲学思考
对齐问题的本质 如何确保 AI 系统的目标与人类价值观一致？这不是一个纯技术问题。 技术对齐 vs 价值对齐 技术对齐：让模型准确遵循指令——如 RLHF 原理与实践 介绍的方法。 价值对齐：让模型理解人类的深层价值观——这涉及哲学、伦理学...
教程
查看全部 →LLM 训练基础设施指南
GPU 选型 训练大模型首先面临的是硬件选择： GPU 显存 适用场景 A100 80GB 80GB 主流训练卡 H100 80GB 80GB 新一代主力 L40S 48GB 48GB 微调推理 集群网络 多机多卡训练时，网络带宽是主要瓶颈...
图解 Transformer 注意力机制
从一个例子开始 想象我们要翻译这句话："The cat sat on the mat"。 在处理 "sat" 这个词时，SelfAttention 让模型能够"看到"句子中所有相关的词——"cat" 是主语，"on" 和 "mat" 是位置...
从零构建 GPT 模型
概述 跟随 Andrej Karpathy 的 nanoGPT，我们从零构建一个能生成文本的小型 GPT。 模型架构 python class GPTnn.Module: def __init__self, vocab_size, n_em...
Function Calling 入门教程
什么是 Function Calling Function Calling 让 LLM 能够调用外部工具和 API，从"只会说话"变成"会做事"。 基本用法 python tools = { "type": "function", "fun...
综述
查看全部 →
多 Agent 协作模式探索
协作模式分类 顺序模式 Agent 按顺序执行任务，每个 Agent 的输出是下一个 Agent 的输入。适合线性工作流。 并行模式 多个 Agent 同时处理不同子任务，最后汇总结果。适合可分解的复杂任务。 辩论模式 两个 Agent 分...
RAG 技术综述
RAG 的发展历程 从 2020 年 Lewis 等人首次提出 RAG，到 2024 年成为企业 LLM 应用的标配架构。 核心组件 索引阶段 文档加载 → 文本分割 → 向量化 → 存储 检索阶段 查询向量化 → 相似度搜索 → TopK...
多模态大模型综述
从单模态到多模态 人类通过视觉、听觉、触觉多个通道感知世界。多模态大模型试图让 AI 也具备这种能力。 代表性模型 GPT4V / GPT4o OpenAI 的原生多模态模型，支持图像理解、OCR、图表分析。 LLaVA 开源社区的代表作，...
AI Agent 研究现状与展望
Agent 的核心能力 一个完整的 AI Agent 需要具备四大能力： 1. 感知：理解环境和用户输入 2. 规划：将复杂任务分解为子任务 3. 记忆：短期和长期记忆管理 4. 行动：调用工具执行任务 主流框架 如 Agent 框架对比：...