理解 Transformer 中的位置编码
为什么需要位置编码 Transformer 并行处理整个序列，不像 RNN 那样逐步读取。这种并行性带来了效率，但也丢失了序列的顺序信息。位置编码正是为了解决这个问题。 Transformer 架构概览./positionalencodin...
← 返回所有标签
标签: Transformer
6 篇图解 Transformer 注意力机制
从一个例子开始 想象我们要翻译这句话："The cat sat on the mat"。 在处理 "sat" 这个词时，SelfAttention 让模型能够"看到"句子中所有相关的词——"cat" 是主语，"on" 和 "mat" 是位置...
Transformer 架构详解
什么是 Transformer Transformer 是 Google 在 2017 年提出的神经网络架构，彻底改变了 NLP 领域。它完全基于注意力机制，摒弃了传统的 RNN 和 CNN 结构。 SelfAttention 机制 Sel...
注意力机制深入理解
注意力的直觉理解 注意力机制模仿了人类的注意力——当我们看一幅画时，不会平均地关注每个像素，而是聚焦在某些关键区域。 缩放点积注意力 $$ \text{Attention}Q, K, V = \text{softmax}\left\frac...
用 PyTorch 实现 Transformer
项目结构 我们会实现 EncoderDecoder 结构的 Transformer，包含：Embedding、Positional Encoding、MultiHead Attention、Feed Forward 和完整的 Encoder...
读《Attention Is All You Need》
为什么这篇论文如此重要 2017 年之前，NLP 领域的主流是 RNN/LSTM 及其变体。这篇论文用一句话改变了历史："Attention Is All You Need"。 论文的精妙设计 论文最打动我的不是 SelfAttention...