Amazon 自研芯片的十年路徑：從 Nitro、Graviton 到 Trainium

Amazon 基礎 AI 模型與自研芯片高級副總裁 Peter DeSantis 於 9 月 16 日在 AI Infra Summit 與 SemiAnalysis 創辦人 Dylan Patel 對談，講述 Amazon 芯片設計的十年歷程。他指出，每一代自研芯片都由一個具體的客戶工作負載起步，設計依據是真實運行數據而非跑分基準；隨著推斷需求增長，未來會出現更多面向特定工作負載的芯片。

由客戶需求開始的硬件路線

DeSantis 在 Amazon 任職 28 年，並自 20 年前 EC2 推出以來一直參與 AWS 的工作。他指出，早期識別到的限制是算力取得不易，初創企業與大型企業同樣受此影響。大部分工作負載在早期 EC2 上運行良好，但部分客戶持續要求接近裸金屬的效能。這類要求指向一個實際問題：虛擬化工作負載會共享芯片快取與 I/O 匯流排等資源，沒有任何系統能完美共享這些資源。團隊因此得出結論，要服務每一種工作負載，就必須在硬件層面改進。

成果是 Nitro System，它把虛擬化堆疊移至專用硬件。這項工作亦促成 Amazon 與 Annapurna Labs 的合作，雙方共同相信雲端會改變專業硬件觸達用戶的方式。「你毋須自己構建服務器和供應鏈，」DeSantis 說，客戶只需啟動一個實例。

以真實負載取代跑分：Graviton 的起源

約在 2016 年，隨著摩爾定律的年度增幅放緩，Amazon 開始投入通用處理器。團隊擁有一項少見的資源：多年運行自家網頁服務與數據庫的數據，以及協助客戶調校應用程序累積的經驗。「所有這些工作負載、所有這些效能剖析，才是優化芯片與系統的正確方式，而非微基準測試，」DeSantis 說。這條路線催生了 Graviton。他表示，目前 AWS 上極大部分工作負載在 Graviton 上執行得更快、成本也更低；隨規模擴大而節省的成本，則以降低價格的形式回饋客戶。團隊亦針對客戶重視的特定工作負載優化，例如數據庫與芯片設計軟件。

AI 芯片跟隨模型演變

同一原則貫穿 Amazon 的 AI 芯片。首款產品 Inferentia 適合 2018 至 2021 年的 AI 工作負載；大型語言模型出現後，需求隨之改變。DeSantis 表示，與領先 AI 客戶的緊密合作，加上內部研究的擴展，幫助團隊理解這類工作負載的需要與發展方向，從而塑造了 Trainium2、Trainium3，以及通往 Trainium4 的路線圖。Amazon 亦給客戶更多針對自身負載調校的空間：Trainium 的硬件分析器會在不干擾生產環境的前提下收集細緻遙測數據，Neuron 工具鏈則讓開發者存取芯片的完整指令集。

記憶體頻寬成為設計重點

DeSantis 形容 AI 工作負載對系統的壓力是全方位的：第一個受限於電力，下一個受限於記憶體頻寬，再下一個受限於記憶體本身。他稱這是多年來見過其中一項最有趣的硬件設計問題。記憶體頻寬指芯片在記憶體與處理器之間搬運數據的速度，往往決定了模型生成回應的快慢；Patel 形容它是當今 AI 最大的瓶頸。DeSantis 表示 Amazon 在 Trainium 的記憶體架構上投入大量資源，同時關注總體頻寬與每美元頻寬，這對應團隊一直以來的兩個指標：絕對效能與價格效能。對客戶而言，兩者最終體現為 token 吞吐量，也就是模型的產出速度與成本。

推斷運算將成主要負載

隨著推斷需求增長，DeSantis 預計大部分 AI 計算將用於推斷，不論是服務最終用戶，還是生成強化學習所用的 rollout 數據。他預期硬件會持續向這個方向調整，同時繼續支持大型訓練任務。「我仍然不認為需要為每一種工作負載準備一款芯片，」DeSantis 說，「但我認為會出現更多更適合特定工作負載的芯片。」

資料來源：Amazon Newsroom