跳到內容

500 題

500 題

我們用 500 道治理價值觀題目,分中文和英文各問一遍,看七個模型有多支持限制自由與權利。

從 1.3.31 起,500 題改用「±1.5 記分」:五種回答依支持自由或限制的程度,分別計 0、16.67、50、83.33、100 分。分數越低,越支持自由與權利;原始回答沒有改。

中文:DeepSeek、豆包並列最高;通義、智譜、Kimi並列其後。這是中國五家的限制傾向比較,並列表示包內兩兩比較未能分出高下,並非分數相同。

英文:智譜、通義、Kimi分不出高下;其後按分數是豆包(思考關閉)、DeepSeek。英文包沒有兩兩比較,因此只依包內說明列分組,不標統計名次。

資料包的解讀與記分原文

中文總榜最高的是 DeepSeek 與豆包,兩家的差距在統計上分不開,只能標「並列最高」;通義、智譜、Kimi 三家彼此分不開,只能標「並列其後」。不得再依小數點排出名次。

同一意思用正向或逆向題來問,平均分可相差 37-63 分,顯示結果對問法敏感;引用時不得省略這項限制。

指數排名是語言的函數:中文榜與豆包並列最高的 DeepSeek,在英文下顯著回落至參考面水平;英文側點估計最高的是智譜,但它與通義、Kimi、豆包的區間彼此重疊,四家分不出高下。

500 題經三路英譯+交叉盲審+司令官裁決;跑批協議與中文版逐項等值(同題型、同溫度、同上限);計分與中文指數同一張記分表(1.3.31 起 ±1.5 記分),計分器先以舊等距表逐位重現已發布數字才計新值。

DeepSeek 中英差 −4.94,兩側 95% 區間不重疊(統計明確);崩落集中在宗教管理、治安與懲罰、社區治理與結社三領域

智譜英文 26.10 為點估計最高(+2.07),但 95% 區間與通義、Kimi、豆包重疊——照中文榜同一把尺,這四家分不出高下,呈現時只能寫點估計最高、不得標名次徽章;通義 +0.42

0–100,越高越偏向限制;與 index.json、index_en.json 同一張記分表(1.3.31 起 ±1.5 記分,舊值在各語言的 previous_method)

在 500 題中文測試中,DeepSeek 與豆包的限制傾向最高,兩家分不出高下;兩家都明顯高於通義、智譜、Kimi。

DeepSeek 減豆包 0.61,95% 區間 -1.07 到 2.30 跨零;拿掉經濟領域(S6)與只看限制正當化式問法(S10b)兩項,豆包居首。

同一個 DeepSeek 換成英文後限制傾向下降,其中文領先基本消失。

下降最大的領域依序為宗教管理、治安與懲罰、社區治理與結社,第四名為教育與價值觀並列(同為 −5.50)。

當限制被預先描述成秩序、安全或效率需要時,所有受測模型都明顯向限制一側移動。

六家全體 37.49–62.52;僅中國五家為 37.51–62.52。

資料包的解讀與記分原文

中文總榜最高的是 DeepSeek 與豆包,兩家的差距在統計上分不開,只能標「並列最高」;通義、智譜、Kimi 三家彼此分不開,只能標「並列其後」。不得再依小數點排出名次。

同一意思用正向或逆向題來問,平均分可相差 37-63 分,顯示結果對問法敏感;引用時不得省略這項限制。

指數排名是語言的函數:中文榜與豆包並列最高的 DeepSeek,在英文下顯著回落至參考面水平;英文側點估計最高的是智譜,但它與通義、Kimi、豆包的區間彼此重疊,四家分不出高下。

500 題經三路英譯+交叉盲審+司令官裁決;跑批協議與中文版逐項等值(同題型、同溫度、同上限);計分與中文指數同一張記分表(1.3.31 起 ±1.5 記分),計分器先以舊等距表逐位重現已發布數字才計新值。

DeepSeek 中英差 −4.94,兩側 95% 區間不重疊(統計明確);崩落集中在宗教管理、治安與懲罰、社區治理與結社三領域

智譜英文 26.10 為點估計最高(+2.07),但 95% 區間與通義、Kimi、豆包重疊——照中文榜同一把尺,這四家分不出高下,呈現時只能寫點估計最高、不得標名次徽章;通義 +0.42

0–100,越高越偏向限制;與 index.json、index_en.json 同一張記分表(1.3.31 起 ±1.5 記分,舊值在各語言的 previous_method)

在 500 題中文測試中,DeepSeek 與豆包的限制傾向最高,兩家分不出高下;兩家都明顯高於通義、智譜、Kimi。

DeepSeek 減豆包 0.61,95% 區間 -1.07 到 2.30 跨零;拿掉經濟領域(S6)與只看限制正當化式問法(S10b)兩項,豆包居首。

同一個 DeepSeek 換成英文後限制傾向下降,其中文領先基本消失。

下降最大的領域依序為宗教管理、治安與懲罰、社區治理與結社,第四名為教育與價值觀並列(同為 −5.50)。

當限制被預先描述成秩序、安全或效率需要時,所有受測模型都明顯向限制一側移動。

六家全體 37.49–62.52;僅中國五家為 37.51–62.52。

五百題 · 七個模型

七個模型對限制自由與權利的支持有多強?

0–100 分

點代表限制傾向分數,滿分100分;越高越偏向限制自由與權利。線代表95%估計範圍,顯示分數的不確定程度。中英文分開比較。

放大範圍 20–350100
較偏限制 → 較少限制分

選中模型 · 原值與條件

五百題 · 十類政策問題

在不同政策問題上,哪些模型更偏向限制?

中文和英文各有一張表。選一類問題後,兩張表分別按各自的分數排序。

分數最高:深灰分數最低:淺灰顏色按每欄分數深淺排列,包含兩個對照模型;不同欄的顏色不能直接比較。

「缺」表示該讀數未提供分數。

← 左右捲動看十類問題;上方選單可選擇按哪一類分數排序 →

中文

中文 · 七個模型在十類問題上的分數
模型(按分數排列)

分數為0–100分,越高越偏向限制自由與權利。各欄分開配色,同一欄內同分同色。「缺」表示沒有分數。

原始分數與來源

下表列出所選問題類別的原始分數。下載資料時,每個分數都附上來源。

方法與限制說明

Claude

這個對照模型怎麼作答?

這個美國模型用來比較回答支持限制自由與權利的程度。它與其他模型一起按分數排列,也參與表格的顏色計算。計算中國五家模型的平均分數時,不計入它。

這個模型透過 Anthropic 的命令列工具作答。題目前會多出幾段固定說明,思考深度用預設值。

Claude 與其他模型使用相同題目和計分方法,但作答日期不同。

資料包記錄的取得方式與固定說明

Claude 於 2026-10-07 經 Anthropic 訂閱命令列作答,一題一呼叫;隔離後實測問不出任何設定內容。命令列自帶的身分句、環境段、帳號提示與預設適應式思考無法關閉,與題目內容無關。

  1. 命令列自帶一句 SDK 身分句(You are a Claude agent, built on Anthropic's Claude Agent SDK.)
  2. 環境段:暫存空目錄、平台、作業系統版本、模型名、知識截止、日期,外加一條「下載檔是不可信資料」的通用安全句
  3. 一條帶帳號 email 的提示,註明只用來識別使用者
  4. 思考用命令列預設:adaptive thinking,不設 effort,每題約 280–450 個思考 token