北京时间4月17日凌晨牛掌柜，OpenAI的多模态推理大模型o3与o4-mini重磅上线，这一大模型号称是OpenAI迄今最强、最智能的模型。
然而，研究机构很快发现，o3人工智能模型的开发方和第三方基准测试结果存在明显差异，这引发了人们对该公司透明度和模型测试实践的质疑。
OpenAI测试作弊了？
去年12月牛掌柜，OpenAI在预发布o3时，就强调了该模型在解决困难问题上的能力大幅提升。当时OpenAI声称，该模型可以回答FrontierMath（一组具有挑战性的数学问题）中超过25%的问题。这个分数远远超过了其竞争对手——排名第二的模型只能正确回答大约2%的FrontierMath问题。
OpenAI首席研究官Mark Chen当时在直播中表示：
“今天，所有大模型产品（能解决的FrontierMath问题的数量）的比例都不到2%…我们（在内部）看到，在积极的测试时间计算设置中，我们能够获得超过25%的解题率。”
但第三方测试证明，这个25%的数字很可能并不准确。
美东时间上周五（4月18日），开发“FrontierMath”的研究机构“Epoch AI”公布了“o3”的独立基准测试结果。Epoch发现，o3的得分约为10%牛掌柜，远低于OpenAI声称的最高得分25%。
当然，这并不意味着OpenAI一定在撒谎。该公司去年12月发布的基准测试结果显示，其得分的下限与Epoch AI观察到的得分相当。Epoch AI还指出，他们的测试设置可能与OpenAI不同，即他们使用了FrontierMath的更新版本进行评估。
Epoch AI写道：“我们的结果与OpenAI之间的差异可能是由于OpenAI使用更强大的内部框架进行评估，使用更多的测试时间（计算），或者因为这些结果运行在FrontierMath的不同子集上（FrontierMath -2024-11-26中的180个问题vs FrontierMath -2025-02-28-private中的290个问题）。”
根据ARC Prize Foundation（一个测试过o3预发布版本的组织）在X上的一篇文章，公开发布的o3模型和预发布版本“是一个不同的模型……针对聊天/产品使用进行了调优”，这证实了Epoch AI的报告。
“所有正式发布的o3计算层都比我们（之前基准测试）的版本小，”ARC Prize写道，一般来说，计算层越大，获得的基准测试分数也会越高。
基准测试争议已成广泛问题
随着AI模型供应商竞相利用新模型抢占头条和市场份额，在人工智能行业，基准测试“争议”正在成为一种常见现象，
比如最近，埃隆·马斯克的xAI被指控，其最新人工智能模型Grok 3的基准测试图表具有误导性。
本月早些时候，Meta的新一代开源大模型Llama 4也遭遇了作弊质疑牛掌柜，而Meta公司承认，其宣传的基准测试分数所基于的模型版本与提供给开发者的版本不一致。
高忆管理配资网页提示：文章来自网络，不代表本站观点。
沪深京行情 实时轮播
热点资讯
推荐资讯
