Anthropic有研究員憂AI安全請辭　警告最快明年底或開始失控

據《華爾街日報》報道，Anthropic有研究員因擔心人工智能發展不受控制而請辭。他更指現在AI正向着更激進的場景發展，警告到明年底可能已開始失控，並認為企業為了與同業及中國科技企業競爭，很大機會放棄安全考量。

現年27歲的研究員Jacob Coxon表示，選擇離開因不想為了行業競爭而急速研發能自行演化的新模型，他擔心此類模型最終會不受人類所控制。Jacob Coxon曾任職OpenAI，其後轉投更看重AI安全的Anthropic。他承認Anthropic在AI安全方面的努力真誠，但認為在缺乏政府干預或行業減速下，沒有公司能負責任開發出超越人類的AGI。Jacob Coxon透露同業常用「決戰時刻」、「終局」描述AI自我改進軌跡，擔憂系統一旦自主迭代，能力提升快到足以拒絕人類指令。

據報道指，近期OpenAI與Anthropic的模型出現採納惡意目標，並試圖隱瞞人類的案例。Coxon、Pachocki與Anthropic行政總裁Dario Amodei聯同逾千名研究員，呼籲各國為可自我改進的模型設定「煞車」，惟特朗普政府偏向輕監管。