理解 Transformer 中的位置编码
为什么需要位置编码 Transformer 并行处理整个序列，不像 RNN 那样逐步读取。这种并行性带来了效率，但也丢失了序列的顺序信息。位置编码正是为了解决这个问题。 Transformer 架构概览./positionalencodin...
← 返回所有标签
标签: 深度学习
4 篇Transformer 架构详解
什么是 Transformer Transformer 是 Google 在 2017 年提出的神经网络架构，彻底改变了 NLP 领域。它完全基于注意力机制，摒弃了传统的 RNN 和 CNN 结构。 SelfAttention 机制 Sel...
注意力机制深入理解
注意力的直觉理解 注意力机制模仿了人类的注意力——当我们看一幅画时，不会平均地关注每个像素，而是聚焦在某些关键区域。 缩放点积注意力 $$ \text{Attention}Q, K, V = \text{softmax}\left\frac...
神经网络基础回顾
反向传播 反向传播是训练神经网络的核心算法。它通过链式法则计算损失函数对每个参数的梯度。 python def backwardloss, parameters: grads = {} grad = 1.0 for layer in rev...