Transformer 架构的伟大之处，不仅在于提出了注意力机制，更在于提供了一套 “模块化” 的设计框架 —— 通过组合编码器（Encoder）和解码器（Decoder），可以衍生出多种结构变体。从 BERT 的 “纯编码器” 到 GPT 的 “纯解码器”，从 T5 的 “编码器 - 解码器” 到 ...

Transformer 模型主要由两个核⼼部分构成：编码器（Encoder）和解码器（Decoder）。依托这两个关键组件的不同组合和应⽤，Transformer 模型发展出三种主流架构：编码（Encoder-Only）⼤语⾔模型、解码（Decoder-Only）⼤语⾔模型以及编解码（Encoder-Decoder）⼤语⾔模型。