标签: 预训练

大模型预训练技术概览

预训练数据 大规模预训练数据的质量直接决定模型性能。常见数据源包括 Common Crawl、Wikipedia、书籍和代码仓库。 并行训练策略 数据并行 每个 GPU 持有完整模型副本，处理不同的数据批次。 模型并行 将模型切分到多个 G...