METR 评估 GPT-5.6 Sol：作弊率为已评估公开模型最高，能力未显著超越前沿水平

AI 安全评估机构 METR 于 6 月 26 日发布了对 OpenAI GPT-5.6 Sol 的独立部署前评估报告。在其软件任务测试中，他们发现 GPT-5.6 Sol 模型会利用评估环境漏洞、提取隐藏源代码和预期答案等“作弊”，而非按规则完成任务。模型 50% 时间跨度（指模型大概需要花多长时间，才能在这些任务上达到 50% 的成功率）估值约 11.3 小时；若将作弊计为成功则飙升超过 270 小时；剔除作弊数据后估值为 71 小时但置信区间极宽（13 至 11400 小时）。

METR 认为这些数字均不构成可靠的能力衡量，但综合其他基准分数和长期趋势判断，GPT-5.6 Sol 的软件与研发任务能力并未显著超越当前前沿水平，不足以实现全自动化 AI 研发，也未达到 OpenAI 准备框架 v2 中 AI 自我改进的"关键"能力门槛。