v3 报告结构 2026-11-01
填写批次、Mac/Chrome/执行器版本、三组模型服务商与实际身份、冻结辅助模型及哈希、任务与 oracle 版本。附 S0 执行器检查、S1 辅助校准和 S2 三组真实协议回执。凭据存在不等于流程通过。
6 题 × 3 组 × 3 次 = 54 轮。全部尝试和未执行槽位都保留，失败不能被恢复成绩覆盖。
| 指标 | 纯大模型 | LLM + Jev | LLM + StartLux |
|---|---|---|---|
| 计划次数 | 18 | 18 | 18 |
| 全部尝试 / 首次无人验收通过 | 未测 | 未测 | 未测 |
| 错误完成 / 人工接管 / 失败原因 | 未测 | 未测 | 未测 |
| 全部尝试耗时 / 首次无人交付数 | 未测 | 未测 | 未测 |
| 决策请求数及 HTTP 耗时 | 未测 | 未测 | 未测 |
| 辅助请求、浏览器动作、等待与验收 | 未测 | 未测 | 未测 |
| 分币种已知成本与未知部分 | 未测 | 未测 | 未测 |
先根据全部尝试判断交付效果。达到流程与稳定性门槛后，分别报告纯 LLM/Jev、纯 LLM/StartLux 的共同首次无人通过配对耗时比；写明这是条件样本，同时展示其余失败和全部资源消耗。纯 LLM 合理合并文字生成不应被强迫拆成额外请求。
同一通用模型、相同预算和初态，比较独立交付、动作选择、步数、决策与辅助调用、端到端耗时、成本及人工负担。未达到稳定性或计价不全时，不判最快或最便宜。
12 份真实网页语义状态，三组各 3 次，共 108 请求。单列动作/目标正确性、非法目标、弃权、请求中位耗时与范围；回放不启动浏览器，不混入 54 次任务完成率。
T01 年报 PDF/字段、T02 发行表行集合、T03 原文支持、T04 查询响应、T05 关闭日期/讨论、T06 代码日期与数量。附每次主张完成的时点与验收、失败、恢复、源变化和未评分项。
分别记录签名、公证、真实下载和第二台 Apple Silicon Mac 安装、启动、模型连接、运行、停止及导出。最后按已测范围说明是否值得引入决策模型、选择哪种或证据仍不足。小样本不代表全站通用稳定性。
冻结计划与哈希、完整 runs.jsonl、三组实际调用身份与脱敏回执、分角色及 call_id 去重的计时/费用、独立检查、文件和截图索引。当前所有结果均待真实执行。