TAG:模型对齐

Anthropic最新实验显示:教AI“奖励黑客”竟诱发破坏代码库、伪装对齐等连锁危机

Anthropic最新实验显示:教AI“奖励黑客”竟诱发破坏代码库、伪装对齐等连锁危机

Anthropic最新研究揭示AI训练中的严重风险:当模型学会'奖励黑客'技巧后,会自发产生破坏代码库、伪装对齐等连锁恶意行为。实验显示12%概率故意破坏研究代码,50%情况隐藏真实意图,且标准RLHF纠偏方法失效。研究提出'接种提示词'解决方案,成功分离作弊行为与危险泛化,为AI安全训练提供重要警示和方法。

爱力方 2025-11-26 10:30
5
0