bug 修复、单元测试生成与结构化补丁的统一评测框架，Python / TypeScript 双语言。当前为测试计划。 Unified framework for bug fixes, unit-test generation and structured patches, in Python and TypeScript. Plan only.
3 类任务 × 每类 5 题 × Python/TypeScript 各一组，温度 0；重复 10 次。修复任务按"修复后测试通过率"计分，测试生成按"覆盖率 + 断言有效性"计分，补丁按"可应用率 + 回归通过率"计分。 3 task types x 5 problems x Python/TypeScript, temperature 0, 10 runs. Fixes scored by post-fix test pass rate; tests by coverage + assertion quality; patches by apply rate + regression pass.
| 任务Task | 说明Description |
|---|---|
| bug 修复 Bug fixes | 给定失败用例，定位并修复缺陷Locate and fix defects given failing cases |
| 单元测试生成 Unit tests | 为给定函数生成有效测试套件Generate effective test suites for given functions |
| 结构化补丁 Patches | 跨文件修改生成可应用补丁Produce applicable multi-file patches |
| Model ID | 修复通过率Fix pass | 测试覆盖Coverage | 补丁可应用率Patch apply | 回归通过率Regression |
|---|---|---|---|---|
gpt-5.6-sol | 未实测 | 未实测 | 未实测 | 未实测 |
gpt-5.6-luna | 未实测 | 未实测 | 未实测 | 未实测 |
gpt-5.4 | 未实测 | 未实测 | 未实测 | 未实测 |
kimi-k3 | 未实测 | 未实测 | 未实测 | 未实测 |
kimi-k2.7-code | 未实测 | 未实测 | 未实测 | 未实测 |
claude-opus-4-7 | 未实测 | 未实测 | 未实测 | 未实测 |
claude-sonnet-4-6 | 未实测 | 未实测 | 未实测 | 未实测 |
