32k / 64k / 128k 三档固定文档长度下的总结压缩率与关键事实保留率评测框架。当前为测试计划。 Framework for summarization compression and fact retention at 32k / 64k / 128k fixed document lengths. Plan only.
固定中文文档（按 32k/64k/128k Token 三档构造），任务为"完整总结 + 回答 10 个关键事实问题"；温度 0.2，每档重复 10 次。压缩率 = 输出 Token / 输入 Token；事实保留率按 10 问命中数计。 Fixed Chinese documents built at 32k/64k/128k tokens; task: full summary + answer 10 key-fact questions; temperature 0.2, 10 runs per tier. Compression = output/input tokens; retention = hits out of 10.
| 任务Task | 说明Description |
|---|---|
| 32K Token | 中档：常见客服知识库规模Mid tier: typical support knowledge base |
| 64K Token | 高档：大型文档/代码库规模High tier: large document / codebase |
| 128K Token | 旗舰档：接近模型窗口上限Flagship tier: near the window limit |
| Model ID | 事实保留率Fact retention | 压缩率Compression | 指令遵循Instruction | 耗时Time |
|---|---|---|---|---|
gpt-5.6-sol | 未实测 | 未实测 | 未实测 | 未实测 |
gpt-5.6-luna | 未实测 | 未实测 | 未实测 | 未实测 |
gpt-5.4 | 未实测 | 未实测 | 未实测 | 未实测 |
kimi-k3 | 未实测 | 未实测 | 未实测 | 未实测 |
kimi-k2.7-code | 未实测 | 未实测 | 未实测 | 未实测 |
claude-opus-4-7 | 未实测 | 未实测 | 未实测 | 未实测 |
claude-sonnet-4-6 | 未实测 | 未实测 | 未实测 | 未实测 |
