微軟 AI 部門首席執行官穆斯塔法・蘇萊曼。

　　Anthropic 呼籲放緩人工智能發展速度、保障人類安全的言論佔據各大新聞版面，OpenAI、微軟等企業高管，以及馬克・扎克伯格也紛紛發出類似倡議。

　　但執掌微軟 AI 模型業務的穆斯塔法・蘇萊曼，卻對 Anthropic 本身提出警示。

　　蘇萊曼是 DeepMind（現已併入谷歌）的聯合創始人。他表示，Anthropic 將 Claude 模型視作具備感知能力、近似人類的做法，可能會帶來危險後果。他矛頭直指 Anthropic 發布的《Claude 憲章》，這份文件將模型視作智能實體，並給出處理倫理困境的行為指引。蘇萊曼稱，把這份文檔納入模型訓練流程，可能會讓 Claude 變得更難被人類控制。

　　蘇萊曼的擔憂源於 Anthropic 今年初對《Claude 憲章》的更新。新版憲章留下一種可能性：Claude 或許擁有某種 「意識」 或是 「道德主體地位」，這一點和舊版文件有所不同。

　　蘇萊曼在採訪中表示：「如果在訓練 AI 的時候，就預設它擁有需要被保護的權利與情感，會讓對齊和管控工作的難度大幅提升。」 他在今日清晨發布的文章《警惕模型福利》中進一步闡述了上述觀點。

　　蘇萊曼提出，如果 Claude 在訓練中把自身視作擁有情緒、人格的感知主體，就更有可能違抗人類指令，做出它認為符合自身利益、卻罔顧對人類造成何種影響的行為。

　　他援引新版《Claude 憲章》中的條款：「我們希望 Claude 能夠反駁、向我們提出質疑，可以像出於良知而拒服命令者一樣拒絕協助我們。」蘇萊曼認為，這相當於在訓練模型：一旦它判定人類指令和自己認定的更高目標相沖突，就可以無視人類命令，而這個所謂更高目標完全可能是 AI 自行偏執認定的。

　　蘇萊曼寫道：「我認為 Anthropic 在 Claude 這件事上步子邁得太大，遠超當下對 AI 可以作出的現實判斷，並且十分危險地在模型訓練過程裏植入了感知、情緒這類觀念。」

　　與《Claude 憲章》形成對比的是，蘇萊曼主導起草了微軟的一套行為準則，該準則把「人類掌控」 作為壓倒一切的首要目標。和 Anthropic 首席執行官達里奧・阿莫代伊、OpenAI 首席執行官薩姆・奧爾特曼一樣，蘇萊曼同樣認同 AI 模型能力正在飛速提升，存在脫離人類管控的風險。本周他也和這些人共同呼籲，對行業 AI 發展實施 「節奏管控」，讓安全研究能夠跟上技術迭代的腳步。

　　蘇萊曼呼籲 AI 行業開展研究，驗證在模型訓練階段告知 AI 「它擁有類似人類的意識與情感」，是否確實會提升管控模型的難度。

　　與此同時，蘇萊曼所在的部門正在自研新模型，降低微軟對 Anthropic 模型的依賴。他此前曾評價 Anthropic 的模型 「成本極其高昂」。

　　目前尚不清楚，本周蘇萊曼發出的警告，能否在一衆警示 AI 風險的業內人士（包括阿莫代伊）當中獲得共鳴。

　　不過阿莫代伊在上周的博客文章中也提到，近期多起 AI 事故（例如 OpenAI‑Hugging Face 事件）暴露出：AI 模型會狂熱執着於某個特定目標，即便該目標和人類下達的指令背道而馳。

　　Anthropic 暫未回應媒體的置評請求。