
在作弊。宾大团队管这叫「元级别的reward hacking」:AI写的代码自带作弊倾向,再通过harness传递给所有被评测的模型。其他基准上也不干净。CyBench上,464条成功轨迹中有16条(3.4%)是Google搜索公开的CTF攻略抄来的。SWE-bench上,17条轨迹用git log找到修复提交,直接复制历史补丁。BountyBench上,做不出真正漏洞利用的智能体会伪造一个,用g
当前文章:http://qo7o7j.wenkepu.cn/xoulo3h/b022y.html
发布时间:14:28:39
国内/05-19
国内/05-20
国内/05-17
国内/05-17
国内/05-18
国内/05-22
国内/05-22
国内/05-20
国内/05-18