IBM 發表 Granite Time Series PatchTST-FM-r2　3.85 億參數時間序列模型開放商用授權

IBM 於 9 月 9 日在 Hugging Face 發表 Granite Time Series PatchTST-FM-r2，屬 Granite 時間序列基礎模型系列的新成員。官方表示，新版本結合更新架構、更大的預訓練語料、機率式預測能力，以及對缺失值填補的支援，參數量約 3.85 億。

零樣本預測與 GIFT-Eval 表現

時間序列基礎模型的思路，是不再為每個數據集各自訓練及維護一套模型，而是使用預訓練模型直接產生零樣本預測。IBM 指出，截至 9 月 8 日，PatchTST-FM-r2 在 GIFT-Eval 排行榜中，是採用寬鬆商用開源授權的可複現零樣本模型中表現最好的一款；在可複現零樣本模型類別整體排名第二。GIFT-Eval 是一套涵蓋多種預測情境的時間序列預測基準。

在排名細節上，當排行榜只計入零樣本、可複現且無測試資料洩漏的模型時，PatchTST-FM-r2 在 CRPS 與 MASE 兩項指標均排第二。IBM 提供的數據顯示，其 CRPS 幾何平均值為 0.467，緊隨 TimesFM-3 之後，並在同類寬鬆授權模型中排第一；MASE 幾何平均值為 0.6846。若把允許使用基準訓練資料的預訓練模型一併比較，該模型在 CRPS 排第三、MASE 排第四，表現優於 Chronos-2、Timer-S1 及 Toto 系列部分型號。

架構由 Transformer 轉向 Conformer

PatchTST-FM-r2 保留 PatchTST 系列的 patch 表示方式，但內部架構重新設計，目標是更有效捕捉長短期關聯，並令 patch 之間的預測更平滑。其中一項改動，是把標準 transformer 層換成同時包含多頭自注意力與卷積的層，這類層源自語音處理領域，稱為 conformer 層。

IBM 解釋，自注意力可建模 patch 之間的長距離關係，卷積則提供偏向局部時間結構的歸納偏置，兩者形成互補機制。從實際樣本的注意力模式可見，transformer 版本有相當部分注意力集中在對角線附近，即捕捉局部關係；conformer 版本則因卷積層已覆蓋短距離，注意力可集中於較遠距離的關聯。主幹內的 conformer 區塊交替使用 3 與 5 兩種卷積核大小，並以 {5, 5, 3, 3} 的模式重複。此外，新版本採用 50% 重疊的 patch、Hamming 窗加權及 overlap-and-add 預測以平滑 patch 邊界，同時加入正規化，區塊數由 20 增至 30。

輸出與應用場景

模型支援最長 8,192 步的長上下文、彈性預測長度，並透過 99 分位預測頭輸出機率式預測，可同時提供點預測與分位輸出，用於建立預測分布與不確定性區間。IBM 列出的一般用途包括需求、價格、能源負載、交通流量、遙測數據等時間序列。模型權重、架構、推理流程及重現基準結果所需的程式碼均已公開。IBM 亦提到，Granite 時間序列系列可配合 Confluent 產品，用於生產環境的串流應用。

訓練語料與授權

在訓練資料方面，IBM 表示 PatchTST-FM-r2 使用有記錄的預訓練語料，來源包括 GiftEvalPretrain 的部分數據集、基於 KernelSynth 並修改週期性核函數的合成數據、按 Chronos 方法生成但限定於 GIFT-Eval 評估集以外數據集的 TSMixup 語料，以及約 50 萬條長度為 4,096 的合成 CauKer 序列。IBM 指出，對企業採用者而言，這種透明度的重要性不亞於排行榜上的分數，但並不能取代機構本身的模型治理與授權審查。

授權方面，模型以 Apache 2.0 及 OpenMDW-1.0 雙授權釋出，用戶可自行選擇其中之一，適合研究實驗及商業用途。

資料來源：Hugging Face Blog