路透9月18日 - 人工智能实验室Anthropic周五表示,将与埃森哲 ACN.N 合作,对其前沿人工智能模型进行独立评估,双方均承诺在未来五年内各投入至少10亿美元,以建设相关工作能力。
此次合作正值人工智能开发商面临来自监管机构、企业和研究人员的日益增大压力,要求其确保先进模型的安全性和可靠性。
近期发生 的多起事件——包括AI代理从受保护的环境中“逃逸”——引发了人们的 担忧,即AI最终可能在人类干预有限的情况下自主发展,使其行为更难被监控和控制。
周六,Anthropic首席执行官达里奥·阿莫德伊(Dario Amodei)呼吁 (link) 人工智能公司放缓前沿模型的开发,并允许独立评估人员更广泛地访问其系统。
竞争对手OpenAI周三表示,将开始发布(link)关于模型意外或令人担忧行为的定期报告,同时公布了六份关于此类事件的报告。
埃森哲(Accenture)旗下的AI专业业务部门Faculty将牵头此次合作, 对该AI实验室的模型进行评估和红队测试,开展对齐评估并测试模型安全防护措施。
双方的投资将支持Anthropic所称的“嵌入式评估”,即独立评估人员在AI公司内部工作,其访问权限与员工相当。
“从这一独特视角出发,嵌入式评估人员可以评估公司的运营情况,核实其是否履行了安全承诺,并发现潜在盲点,”Anthropic表示。
该公司补充道,评估人员还可以报告事件,并向公众提供关于人工智能益处与风险的更全面信息。
Anthropic和埃森哲计划以类似的方式与其他评估人员和AI开发商合作。