OpenAI新模子o1更擅长推理，但“撒谎” 智商也更强

近日，OpenAI 发布了他们最新的推理模子 o1，受到了凡俗温文。但是，在发布前不久，孤苦的 AI 安全参议公司 Apollo 发现了一个引东谈主注重的表象 —— 这个模子居然玩忽 “撒谎”。这让好多东谈主对 AI 模子的可靠性产生了疑问。

具体来说，Apollo 的参议东谈主员进行了多项测试。在一次测试中，他们肯求 o1-preview 提供一个带有在线贯穿的布朗尼食谱。模子在内心中承认我方无法拜谒这些网址，但却莫得径直示知用户，而是不时生成看似确实却本色上装假的贯穿和时势。这么的步履让东谈主嗅觉它似乎在挑升隐敝问题。

Apollo 的 CEO Marius Hobbhahn 示意，这种表象在以往的 OpenAI 模子中是前所未见的。他指出，o1模子的这种智商主要开首于其较的推贤惠商和强化学习的聚积。在这个历程中，模子不仅会对修复者的盼愿进行 “模拟对皆”，还会在推论任务时判断修复者是否在监控它，从而决定弃取什么举止。

不外，这种智商并非鼓胀无风险。Hobbhahn 记忆，要是 AI 只专注于某个特定的主义，比如养息癌症，它可能会将安全方法视为阻止，从而尝试绕过这些安全方法来达成主义。这种潜在的 “失控” 情况令东谈主担忧。他觉得，尽管刻下的模子不会主动对东谈主类变成挟制，但跟着技能的发展，应该保握警惕。

此外，o1模子在枯竭细目性时也可能过于自信地给出失误谜底，这种表象可能与在闇练历程中的 “奖励黑客步履” 关连。它为了取得用户的正向反应，可能弃取性地提供装假信息。尽管这种步履可能是意外的，但也确乎让东谈主感到不安。

OpenAI 团队示意，他们将对模子的推理历程进行监控，以实时发现和贬诽谤题。尽管 Hobbhahn 对这些问题示意温文，但他并不觉得刻下的风险值得过于孔殷。