JSON Schema 合规率与重试次数的统一评测框架,覆盖 5 类常用 Schema。当前为测试计划。 Unified framework for JSON Schema compliance and retries across 5 common schema types. Plan only.
5 组 JSON Schema(对话、抽取、分类、多步流程、嵌套结构),固定提示词与 schema,温度 0;重复 20 次。合规率 = 通过 schema 校验的比例;重试次数 = 首次成功前平均重试次数。 5 JSON Schemas (chat, extraction, classification, multi-step, nested), fixed prompts, temperature 0, 20 runs. Compliance = share passing schema validation; retries = average attempts before first success.
| 任务Task | 说明Description |
|---|---|
| 对话 Chat | 带工具调用的对话响应Chat responses with tool calls |
| 抽取 Extraction | 实体/关系 JSON 输出Entity/relation JSON output |
| 分类 Classification | 多标签分类输出Multi-label classification output |
| 多步流程 Multi-step | 分步决策流程输出Step-by-step decision output |
| 嵌套结构 Nested | 深层嵌套对象输出Deeply nested object output |
| Model ID | Schema 合规率Compliance | 平均重试次数Avg retries | 字段精确率Field precision | 耗时Time |
|---|---|---|---|---|
gpt-5.6-sol | 未实测 | 未实测 | 未实测 | 未实测 |
gpt-5.6-luna | 未实测 | 未实测 | 未实测 | 未实测 |
gpt-5.4 | 未实测 | 未实测 | 未实测 | 未实测 |
kimi-k3 | 未实测 | 未实测 | 未实测 | 未实测 |
kimi-k2.7-code | 未实测 | 未实测 | 未实测 | 未实测 |
claude-opus-4-7 | 未实测 | 未实测 | 未实测 | 未实测 |
claude-sonnet-4-6 | 未实测 | 未实测 | 未实测 | 未实测 |