LLM 训练基础设施指南
GPU 选型 训练大模型首先面临的是硬件选择： GPU 显存 适用场景 A100 80GB 80GB 主流训练卡 H100 80GB 80GB 新一代主力 L40S 48GB 48GB 微调推理 集群网络 多机多卡训练时，网络带宽是主要瓶颈...
教程
6 篇图解 Transformer 注意力机制
从一个例子开始 想象我们要翻译这句话："The cat sat on the mat"。 在处理 "sat" 这个词时，SelfAttention 让模型能够"看到"句子中所有相关的词——"cat" 是主语，"on" 和 "mat" 是位置...
从零构建 GPT 模型
概述 跟随 Andrej Karpathy 的 nanoGPT，我们从零构建一个能生成文本的小型 GPT。 模型架构 python class GPTnn.Module: def __init__self, vocab_size, n_em...
Prompt Engineering 完全指南
基础技巧 ZeroShot Prompting 直接提问，不提供示例。 FewShot Prompting 提供 25 个示例让模型学习模式。 ChainofThought 在 prompt 中加入"Let's think step by ...
Function Calling 入门教程
什么是 Function Calling Function Calling 让 LLM 能够调用外部工具和 API，从"只会说话"变成"会做事"。 基本用法 python tools = { "type": "function", "fun...
向量数据库入门：Pinecone vs Milvus
Pinecone 全托管的向量数据库服务，零运维负担。适合快速原型和小型团队。 python import pinecone pinecone.initapi_key="...", environment="uswest1gcp" inde...