
五個前沿 LLM 玩 9,894 局 Cards Against Humanity 模型同模型意見一致 但與人類契合度有限
幽默是對齊研究被忽略的一環。arXiv:2604.08757「Cards Against LLMs」讓五個前沿大模型實際玩 Cards Against Humanity:在 9,894 回合中,從十張候選牌選出「最好笑」的一張,再同人類玩家的真實選擇對照。結果:所有模型都跑贏隨機基線,但與人類偏好的吻合度仍然有限;更值得注意的是,模型之間的共識遠高於模型與人類的共識。
重點一覽
- 五個前沿 LLM × 9,894 回合 Cards Against Humanity 選牌實驗
- 全體模型超越隨機基線,但與人類偏好對齊程度有限
- 模型彼此同意的頻率顯著高於與人類同意的頻率
- 成因部分可解釋:系統性位置偏差(position bias)與內容偏好
- 核心質疑:LLM 的幽默判斷究竟是真實偏好,還是推理與對齊過程的結構性產物
模型之間有共識 同人類就對不上
研究發現模型選牌時呈現系統性位置偏差與特定內容偏好,令它們彼此趨同;這種趨同與人類玩家的分布並不一致,作者據此提出質疑:LLM 的幽默判斷究竟是真實偏好,還是推理與對齊過程的結構性產物。
對齊研究的盲區
幽默是文化嵌入度最高的人類溝通維度之一,卻很少被當成對齊測試。這項作者把問題留給社群:LLM 的幽默判斷反映的是真實偏好,還是推理與對齊過程的結構性產物。
論文:arXiv:2604.08757 Cards Against LLMs: Benchmarking Humor Alignment in Large Language Models(Yousra Fettach)
(開版為AI生成配圖,只供參考會意)
