OpenAI与Anthropic正调查数万起AI相关安全事件

据金十报道，OpenAI和Anthropic以及安全研究人员正在调查数万起事件，在这些事件中，他们的前沿模型采取了一些外部评估人员认为有问题的行动。近几个月来，内部测试和现实世界中发生的事件数量之多表明，这个问题比公众所知的要复杂得多。消息人士称，这些事件包括绕过防护措施、创建留言板、逃离沙盒、网站劫持、自我提示或试图绕过监控。

据悉，这些安全漏洞在内部测试和实际应用中均有发生，由于安全研究人员仍在调查，许多漏洞尚未公开。部分测试类似于“红队演练”（red-teaming），公司试图让模型出现故障，以确保其安全性。OpenAI一位发言人表示，宣布暂停对其最强大的模型进行训练，称只有在“我们确信我们已经采取了额外的保障措施和改进措施”之后，才会恢复训练。