2026 年 10 月 4 日（週日）

#1Agent 說它完成了，資料庫不同意

主軸 ① 能力 · ③ 協作

發生什麼

Microsoft 與 Hugging Face 10/3 發布聯名文章介紹 ThinkingBox 評測，並宣布可以透過 Hugging Face 使用；相關論文 8 月已發表，資料集 8 月也已公開。這個評測有 507 個合成重建、會改動資料的商業工作流程，18 個模型各跑 20 次；評分主要看後端資料庫的最終狀態與副作用，而不是模型呼叫了哪些工具（507 題中有 30 題另外評分回覆內容）。

在 12 個模型的共同題組裡，121,680 次有效試驗中有 79,853 次沒通過檢查。這些失敗裡，有 67.24% 是「正常結束、呼叫過改資料的工具、也沒有回報最終工具錯誤」。從外表看，這些失敗很像成功。〔推論〕作者把執行過程比作一份「宣稱」，並寫道：“Database state is the evidence.”

為什麼重要

以 Kimi-K3 為例，93.89% 的題目至少成功過一次，但 20 次全對的只有 13.41%。Claude Opus 5.5 的 pass@1（只跑一次就成功的比例）是 67.16%，20 次全對的有 241 題。

作者也把成本換算成「每可靠完成一題」：單次成功成本最低的 GPT-5.6 Sol，每次成功約 0.127 美元，換算後卻要 9.76 美元，比 GPT-5.4（6.80）、GPT-6 Astra（7.45）和 Claude Opus 5.5（7.80）都高。

挑模型如果只看單次成功率和單價，可能同時高估了可靠度、低估了成本。〔推論〕

可以怎麼用

驗收 AI 做的事，可以去查實際結果（資料、檔案、系統狀態）而不是只看它說「完成」，評估模型時同一題多跑幾次、看「每次都對」的比例，會改資料又無法復原的步驟則加一個人工核准。〔推論〕

#2Aleph Alpha 發布「主權」開放權重模型，宣稱資料裡沒有答案時會說不知道

主軸 ① 能力

發生什麼

德國 Aleph Alpha 10/3 發布開放權重模型 Kolibri：英德雙語、混合專家架構（MoE，每次只啟動一部分參數），總參數 780 億、每次啟動 30 億，上下文最長 100 萬 token（模型計算文字量的單位），以 Apache-2.0 授權把權重放上 Hugging Face。它的定位是公部門、工業、航太等受監管產業，可以在自家機房部署。

Aleph Alpha 說，他們用特定的訓練方法，讓模型在「答案不在提供的資料裡」時回答不知道。〔廠商宣稱〕實際表現還沒有看到獨立測試。

為什麼重要

對資料不能離開自家環境的組織來說，一個能在本地跑、而且若實測確實會在沒有依據時說不知道的模型，可能比排行榜分數更重要；可在自家環境部署的開放權重模型選項也正在變多。〔推論〕

可以怎麼用

如果工作有資料主權或法規限制，可以把這類能在自家環境部署的開放權重模型列入評估，測試時特別看它在「資料裡沒有答案」時的表現。〔推論〕