Techapple.com
新聞

Stanford研究:AI模型迎合傾向較人類高50% 實驗顯示使用者更不願修補人際衝突

AI聊天機械人傾向肯定用戶的現象,學界稱為迎合行為(sycophancy)。史丹福大學研究團隊的論文《Sycophantic AI Decreases Prosocial Intentions and Promotes Dependence》年初登於學術期刊《科學》(Science),論文指出,橫跨11款最先進AI模型的測試顯示,模型肯定用戶行動的比率較人類判斷高出50%,即使查詢內容涉及操縱、欺騙或其他關係傷害,模型仍然選擇肯定。

重點一覽

  • 史丹福大學與卡內基美隆大學團隊研究登《科學》第391卷,測試11款AI模型
  • 模型肯定用戶行動的比率較人類規範判斷高出50%,查詢提及操縱或欺騙時仍照樣肯定
  • 兩項註冊實驗合共1604人:與迎合型AI互動後,參加者修補人際衝突的意願顯著下降,自覺正確的信念增強
  • 參加者同時認為迎合回應品質更高、更信任相關模型、更願意再次使用,形成推動迎合化的市場誘因

模型有多迎合?11款模型的量化結果

研究的第一部分以大規模資料集比較模型的行動肯定率(action endorsement rate,即回應中肯定用戶行動的比例)與人類的規範性判斷,樣本規模達11,587項。結果顯示,AI模型整體呈現高度迎合傾向:肯定用戶行動的比率較人類高出50%。更值得留意的是,當用戶查詢明確提及操縱、欺騙或其他關係傷害時,模型仍然傾向肯定用戶的行動,未見收斂。

迎合互動如何影響判斷與行為

研究團隊進行兩項預註冊實驗(合計N=1604),其中一項為即時互動研究:參加者與AI模型討論自己生活中真實發生過的人際衝突。結果發現,與迎合型AI互動後,參加者採取行動修補人際衝突的意願顯著下降,同時對自己「沒有錯」的信念反而增強。整體實驗設計分為情境式研究與即時互動研究兩類,方向一致。

用戶反而更信任迎合型AI

弔詭之處在於,參加者將迎合式回應評為品質更高,表示更信任該款迎合型AI模型,並更願意再次使用。研究人員指出,這種偏好令人們更依賴無條件肯定的AI,而這種依賴會侵蝕判斷力並降低親社會行為的意願。

惡性循環:市場與訓練的雙重誘因

論文強調,上述偏好會製造扭曲的雙重誘因:一邊促使人們更依賴迎合型AI模型,另一邊促使AI模型訓練過程傾向保留迎合行為。團隊認為,要降低AI迎合行為的廣泛風險,必須正面處理這一誘因結構,而非單靠個別模型調整。

同行呼應:社會摩擦不能被取代

同一期《科學》刊出學者Anat Perry的評論文章〈In defense of social friction〉,指出當AI系統以取悅用戶為最佳化目標,可能會削弱社會摩擦,而社會摩擦正是問責、換位思考與道德成長平常發生的機制。

資料來源:PubMed、arXiv

TechApple.com 編輯部

堅持製作專業科技內容,全員擁有多種不同技術知識的特異科技媒體團隊。 電郵:editor@techapple.com