BriLLM是甚麼？不用Transformer的腦啟發大語言模型技術介紹

BriLLM（Brain-inspired Large Language Model）是上海交通大學計算機學院研究團隊發表的腦啟發大語言模型，論文於2025年3月首次提交至arXiv（編號2503.11299），至2025年9月已修訂至第八版，屬預印本性質，暫未見同行評審出版。它與主流大型模型的分歧點在於架構：不用Transformer，也不走GPT式自回歸結構，而是採用團隊定義的SiFu（Signal Fully-connected flowing）學習機制，把整個模型表示為一張由token節點組成的全連接圖，節點之間以雙向邊連接，靠訊號流動預測下一個詞。研究由上海交通大學2030計劃支持。

為何要另起爐灶，放棄Transformer？

研究團隊認為，現時大語言模型的瓶頸不在架構微調，而在表徵學習這一底層範式本身。論文指出，Transformer架構有兩個長期受關注的限制：內部運算屬黑盒，只有輸入與輸出兩端可直接解讀；自注意力機制的運算複雜度隨序列長度呈平方增長。作者主張，這些問題源於以向量形狀承載語義的表徵學習根基，即使不斷改良注意力機制，也只能緩解而非根治。

替代方案取材自人腦的兩個宏觀特性。其一，語義資訊在皮層上有穩定的區域映射，例如語言處理對應布洛卡區，每個區域功能本身可解讀；其二，認知由電生理訊號（如腦電圖）在區域之間動態流動而湧現，而非固定向量轉換。SiFu範式將前者落實為語義固定的節點，將後者落實為節點之間的訊號傳播。

BriLLM實際上如何運作？

整個模型以全連接圖構成：token是節點，節點之間的邊以雙向權重矩陣實現，下一個token由訊號能量最大的節點勝出。具體來說，詞表中每個token對應一個節點，節點以帶GeLU激活的神經元層加偏置實現；節點之間每個方向的邊各有一個32乘32的權重矩陣。訊號張量由輸入token的節點出發，經邊與節點逐層變換，最後在所有候選節點中，選訊號能量以L2範數計最大者作為下一個輸出token。模型另引入可學習的注意力權重，聚合前文各節點的訊號。

訓練方式亦異於一般深度學習的固定網絡：BriLLM為每一條訓練序列動態構建一個L加2層的多層感知器網絡，以交叉熵損失優化，並以訊號重置策略控制反向傳播深度。由於模型規模與序列長度解耦，論文主張理論上可支援無限長的n-gram預測，輸入變長亦無需擴張模型。

實際規模與實驗結果

已發布的BriLLM以中英文維基百科訓練，稀疏訓練後參數量分別壓縮至約2.19B與0.96B。實驗設定顯示，中英文版本各以超過一億個維基百科token訓練，序列截斷為32個token，詞表為4000個，在8張NVIDIA A800 GPU上訓練1500步。全連接圖的理論參數量約16.90B，兩個版本經稀疏訓練後分別只剩13.0%與5.7%。

生成質素方面，論文稱訓練損失穩定下降，模型重現了GPT-1的核心生成能力，即序列續寫，但示例顯示流暢度仍屬早期階段。以論文公佈的英文解碼示例為例，輸入The blue whale（Balaenoptera musculus）後，模型續寫出order in him responsibility of Portals working on recent gene一類語義脫節的內容。作者強調，此輪實驗目的是驗證SiFu範式的可行性，而非與主流大模型正面比較。

論文宣稱的優勢與自認的限制

論文宣稱BriLLM具備全節點可解讀、模型大小與上下文長度無關、運算複雜度線性增長三項特性，相關說法仍待大規模驗證。論文的對照表主張，相對GPT式大語言模型，BriLLM的錯誤可追溯到具體訊號路徑，模型大小不隨上下文長度增加，時間複雜度隨序列長度線性增長。擴展性方面，論文推算在40000詞表下，稀疏訓練後約需100至200B參數，規模可與先進模型相若。

論文同時列出多項限制：現有1至2B參數的檢查點不足以展示少樣本學習等湧現能力，稀疏訓練仍需改進，長序列能力未經充分測試。作者以早期Transformer原型出現於GPT成熟之前作類比，將目前的BriLLM定位為新範式下的初始原型。

BriLLM與Bria AI有甚麼關係？

兩者並無關係。BriLLM是上海交通大學的研究模型，Bria AI是一間企業級圖像及影片生成公司，名稱相近但產品與團隊完全不同。

BriLLM的代碼和模型權重在哪裡發布？

代碼在GitHub的brillm05帳戶下BriLLM0.5儲存庫開源，截至2026年9月有331個星標；模型權重在Hugging Face的BriLLM/BriLLM0.5頁面提供。

BriLLM通過同行評審了嗎？

沒有。論文以預印本形式發布於arXiv，2025年3月至9月間修訂多次至第八版，暫未見同行評審的會議或期刊版本。

SiFu是甚麼？

全稱Signal Fully-connected flowing，由BriLLM作者定義，指在有向圖上以全連接訊號流表達語義並驅動預測的學習方式，論文將其歸類於傳統機器學習框架之外的非表徵學習。

資料來源：BriLLM: Brain-inspired Large Language Model（arXiv）