从 RAG 看 AI 架构的演进
从闭卷到开卷 传统的 LLM 像一个闭卷考试——只能依赖训练时记住的知识。RAG 给了模型"开卷"的能力，让它能在回答时查阅外部文档。 RAG 流程示意图./ragarchitectureevolution/diagram.svg 架构设计...
阅读思考
5 篇读《Attention Is All You Need》
为什么这篇论文如此重要 2017 年之前，NLP 领域的主流是 RNN/LSTM 及其变体。这篇论文用一句话改变了历史："Attention Is All You Need"。 论文的精妙设计 论文最打动我的不是 SelfAttention...
AGI 离我们还有多远
乐观派 vs 保守派 OpenAI 的 Sam Altman 认为 AGI 可能在 510 年内到来。而 Yann LeCun 则认为我们离 AGI 还很远，自回归 LLM 不是通向 AGI 的正确道路。 当前 LLM 的局限性 缺乏真正的...
开源 vs 闭源大模型之争
闭源阵营 OpenAI 的 GPT4、Anthropic 的 Claude 代表了闭源路线的顶尖水平。优势在于质量可控、商业化清晰。 开源阵营 Meta 的 Llama 系列、Mistral、Qwen 等开源模型正在快速追赶。开源促进了社区...
AI 对齐问题的哲学思考
对齐问题的本质 如何确保 AI 系统的目标与人类价值观一致？这不是一个纯技术问题。 技术对齐 vs 价值对齐 技术对齐：让模型准确遵循指令——如 RLHF 原理与实践 介绍的方法。 价值对齐：让模型理解人类的深层价值观——这涉及哲学、伦理学...