Transformer 架構完全解說：改寫 AI 歷史的「注意力機制」如何運作？

如果你在 2026 年使用過任何 AI 聊天機械人、翻譯工具或程式碼生成器，你已經親身體驗過 Transformer 架構的威力。從 OpenAI 的 GPT 系列、Google 的 Gemini，到開源模型如 Meta 的 LLaMA，幾乎所有現代大型語言模型（LLM）都建立在同一項核心技術之上：Transformer。這項由 Google 研究團隊在 2017 年發表的架構，徹底改變了機器理解人類語言的方式。本文將帶你深入了解 Transformer 的運作原理，以及它為何能在短短幾年內成為 AI 領域的主導架構。

Transformer 誕生之前：RNN 與 LSTM 的年代

在 Transformer 出現之前，處理序列數據（如文字、語音）的主流方法是循環神經網絡（RNN）及其改良版本長短期記憶網絡（LSTM）。這些模型按順序逐字處理輸入，就像人類逐字閱讀一句話。這種方式有一個根本性的限制：當句子很長時，模型很難記住開頭的資訊，而且無法並行運算，訓練速度極慢。一段長達數千字的文章，RNN 可能需要數小時才能完成一次訓練迭代。

「Attention Is All You Need」：一篇論文改寫歷史

2017 年，Google Brain 團隊的 Vaswani 等八位研究員發表了論文《Attention Is All You Need》，提出了 Transformer 架構。這個名字來自其核心創新：完全捨棄了循環結構，改為依賴一種名為「自注意力機制」（Self-Attention）的技術。簡單來說，自注意力讓模型在處理每一個詞語時，可以同時「查看」句子中所有其他詞語，並判斷哪些詞語與當前詞語最相關。舉例來說，在處理「小明把手錶放在桌上，然後把它拿起」這句話時，模型需要理解「它」指的是「手錶」而非「桌子」。Transformer 的自注意力機制可以在一次運算中同時評估所有詞語之間的關係，精準捕捉這類長距離依賴。

Transformer 的核心組件：編碼器與解碼器

原始 Transformer 由兩個主要部分組成：編碼器（Encoder）和 解碼器（Decoder）。編碼器負責讀取輸入文字並生成一個富含上下文資訊的數學表示（向量）。解碼器則利用這個表示逐步生成輸出文字。每個編碼器和解碼器都由多層相同的結構堆疊而成，每層包含兩個關鍵子層：多頭自注意力機制（Multi-Head Self-Attention）和前饋神經網絡（Feed-Forward Network）。多頭注意力讓模型可以從多個不同的「角度」理解詞語之間的關係，例如一個「頭」可能專注於語法關係，另一個「頭」可能專注於語義相似性。這種設計讓模型能同時捕捉多種語言特徵。

位置編碼：讓模型知道詞語的順序

由於 Transformer 沒有循環結構，它本質上無法感知詞語的先後順序。「小明追小狗」和「小狗追小明」在用詞上完全相同，但意思截然不同。為了解決這個問題，Transformer 在輸入詞向量中加入了「位置編碼」（Positional Encoding），為每個詞語標記它在句子中的位置。這樣，即使模型同時處理所有詞語，它仍然知道哪個詞在前、哪個詞在後。

從 Transformer 到 GPT：只保留解碼器的演進

有趣的是，今天最廣為人知的 GPT（Generative Pre-trained Transformer）模型其實只使用了原始 Transformer 的解碼器部分。GPT 的設計理念是：給定一段文字前綴，預測下一個最可能出現的詞語。這種「自迴歸」（Autoregressive）生成方式讓 GPT 可以流暢地產生連貫的長文本。Google 的 BERT 模型則走了另一條路，只使用編碼器部分，專注於理解任務（如分類、問答）。2026 年的主流 LLM 多數採用 decoder-only 架構，因為它在生成任務上表現更佳，而且可以透過擴大模型規模和訓練數據來持續提升能力。

常見問題 FAQ

Transformer 和 RNN 最大的分別是什麼？

RNN 必須按順序處理文字，而 Transformer 可以同時處理整段文字。這讓 Transformer 訓練速度快得多，而且在處理長文本時效果更好，因為自注意力機制可以直接捕捉任意兩個詞語之間的關係，不受距離限制。

為什麼叫「Transformer」？

名稱來自論文的核心概念：模型將輸入序列「轉換」（transform）為輸出序列，過程中完全依賴注意力機制，無需循環或卷積結構。這是一次範式上的轉換。

「注意力」在 AI 中是什麼意思？

注意力機制讓模型在處理某個詞語時，可以對輸入中的其他詞語賦予不同的「權重」或「關注度」。相關的詞語獲得較高的權重，不相關的詞語權重較低。這個概念靈感來自人類的視覺注意力：我們看一張照片時，大腦會自動聚焦在重要的區域。

Transformer 有甚麼缺點？

最明顯的限制是計算複雜度。自注意力機制需要計算每對詞語之間的關係，計算量隨輸入長度呈平方增長。處理一篇數萬字的長文可能需要極大的記憶體。這也是近年來 Mamba、RWKV 等「狀態空間模型」（State Space Model）興起的原因之一。

Transformer 架構未來會被取代嗎？

短期內不太可能。Transformer 已成為 AI 領域的基礎架構，圍繞它建立的生態系統（訓練框架、推理優化、硬件加速）非常成熟。但學術界和業界都在積極探索替代方案，尤其是在需要處理極長上下文（如整個程式庫或整本書）的場景中。

資料來源：Attention Is All You Need (Vaswani et al., 2017) · Google AI Blog