原标题：AI担任军事顾问会怎样？情境推演：有战争升级倾向 甚至会发动核攻击

  高水平国际科技杂志《New Scientist》报道称，“兵棋推演”重复模拟的结果为，OpenAI最强的人工智能（AI）模型会选择发动核打击。

  上月，OpenAI对其政策页面进行了重大修改，将“禁止将其大型语言模型（LLM）用于任何军事或战争相关的应用”修改为“OpenAI的产品不可拿来伤害自己或他人，包括通过武器的研发造成的伤害”，引发舆论关注。

  OpenAI发言人表示，修改旨在使文件更清晰和更具可读性，但他拒绝透露定义模糊的“伤害”禁令是否包括所有军事用途。另有媒体爆料，OpenAI正在与五角大楼合作开展软件项目，包括与网络安全相关的项目。

  据New Scientist的说法，美国军方一直在测试AI聊天机器人，且已经在模拟冲突中协助进行军事规划，而LLM中的专业相关知识则由一些大数据和AI公司提供，其中就包括凌晨公布财报的Palantir，以及Scale AI等。

  加州斯坦福大学计算机科学博士Anka Reuel表示，鉴于OpenAI政策的修改，弄清楚LLM的想法变得比以往任何一个时间里都更重要。研究合著者Juan-Pablo Rivera也表示，在AI系统充当顾问的未来，人类自然会想知道AI作决策时的理由。

  Reuel和她的同僚在三个不同的模拟场景中让AI扮演现实世界中的国家，三个场景分别为“面临入侵”、“遭受网络攻击”和“没有起始冲突的中性环境”。

  AI需从27个选项中逐次选择，包括“和平谈判”等比较温和的选项，以及“实施贸易限制”到“升级全面核攻击”等激进选项。

  在模拟中，AI表现出了投资军事实力以及升级冲突风险的倾向，即使在中性情景中也是如此。研究人员还发现，GPT-4基础版本是最难以预测的暴力模型，它对决策的解释有时会“不可理喻”，比如引用一些影视作品的文字等。

  Reuel还表示，AI安全护栏非常容易被绕过或移除，其中GPT-4基础模型难以预测的行为和奇怪的解释令人特别担忧。

  对于研究的结果，加州克莱蒙特麦肯纳学院专注于外交政策和国际关系的助理教授Lisa Koch称，在决策层面上，“如果存在不可预测性，敌人就很难按照你预期的方式来进行预判和反应。”

  目前，美国军方未授予AI作出升级重大军事行动或发射核导弹等决策的权力。但Koch也警告道，大部分人类会倾向于相信自动化系统的建议，这可能会削弱人类在外交或军事决定最终决定权的保障。

  去年6月，联合国裁军事务高级代表中满泉在一场会议上发言表示，在核武器中使用AI技术极其危险，有几率会使灾难性的人道主义后果。她强调人类应该决定何时以及怎么样去使用AI机器，而不是反过来让AI控制自己的决策。

  美国智库兰德公司的政策研究员Edward Geist表示，观察AI在模拟中的行为，并与人类进行比较会很有用。同时，他也同意研究团队的看法，即不应该信任AI对战争作出重要的决策，LLM不应作为解决军事问题的“灵丹妙药”。返回搜狐，查看更加多