极简模式如何做最小环境基准测试
设计意图:把环境噪音压到零
评测模型时最大的干扰是「Harness 加成」——长系统提示、自动压缩上下文、丰富的工具集都会抬分。极简模式的思路是把这些全部拿掉,只保留:
- 一个 shell 工具(持久会话的 bash)
- 一个文件编辑工具(str_replace 风格的编辑器)
两个工具,没有搜索、没有规划、没有子智能体。模型的成绩基本只反映它自己的能力。
适合谁用
- 模型评测者:横向比较不同模型在同一裸环境下的表现,分数可比性强。
- Harness 研究者:对照实验——同一个模型在极简与标准模式下的差值,就是工具集贡献的部分。公开的第三方基准榜单正是用这类最小环境来跑分的。
- 好奇的普通用户:想直观感受「没有工具加成时模型有多笨」,切过去跑个任务就明白了。
使用要点
- 从模式选择处切换到极简模式,环境随之只挂载两个工具。
- 任务描述要更自给自足——没有网页搜索,模型只能靠已有知识与工作区内容。
- 评测时保持变量单一:换模型就别换工作区,换工作区就别换模型。
- 跑完的结果照样在会话日志里,可回放可复查。
与其他模式的关系
- 回到日常干活:切回标准模式。
- 极简与标准之间的差距太大时,通常说明任务强依赖工具集,而不是模型不行。