用户购买的是在规定预算内把真实工作正确做完的能力。因此先看独立交付，再讨论速度；失败得快不等于效率高。完整链路为：目标与页面观察、决策选择动作和目标、必要的文字生成、浏览器执行、最终结果独立验收。代码负责候选索引、合法性检查、精确数值、文件与验收；不能把程序的能力归给模型。
| 组别 | 谁选动作和目标 | 其他职责 |
|---|---|---|
| 纯大模型基线 | 选定并固定的通用 LLM | 同一个通用 LLM 可在 TYPE_TEXT 决策中同时给输入值，不人为强加额外辅助请求。 |
| 通用模型加 Jev | Jev | 固定通用 LLM 只在本题需要生成输入文字或读取整理时参与。 |
| 通用模型加 StartLux | StartLux | 使用与 Jev 组相同的通用模型版本、角色、提示词、裁剪与缓存规则。 |
纯大模型基线必须在开跑前冻结具体服务商、模型与参数，不能看成绩后更换；结论只相对本次所选基线，不能外推所有大模型。三组共用同一 Mac、浏览器、语义观察、候选动作、权限、初始状态、任务、预算和验收器。纯大模型同样不能任意执行代码、发出选择器或使用额外后台 API。它可使用合理的单次动作加文字输出；同一次 HTTP 请求按主要职责计一次，不重复计时、计 token 或费用。这是系统实际效果比较，不把不同架构下的总耗时直接称为纯模型推理速度。
Jev 和 StartLux 已在 Python 源码中共用 state/questions 构造、候选集合及目标校验。保留这条共同链，不为两个模型分别写一套网页观察。各自特有参数单独记录；不给纯 LLM 编造概率或置信度来凑成同样输出。
| 关口 | 实际操作和规模 | 放行依据 |
|---|---|---|
| S0 执行器检查 | 直接程序检查真实网站的观察、合法目标、点击、输入、翻页、下载、PDF 解析和验收。零模型调用，检查记录单列。 | 已知动作实际生效且可回读；结果未知能停止。此项通过不算任何模型成功。 |
| S1 辅助模型校准 | T01、T03、T05 各重复 3 次，先用 DeepSeek 共 9 轮；如确认辅助环节导致失败，按同条件对照 GPT 最多 9 轮。 | 候选 9/9 独立交付、无错误完成、无人接管，冻结具体配置和回执。9/9 是工程门槛，不代表统计稳定率 100%。决策、执行器或网站失败先修共同流程，不甩锅辅助 LLM。 |
| S2 三组协议检查 | 真实调用 pure LLM / Jev / StartLux，检查合法动作、非法目标、超时、停止与调用身份。规划模型默认关闭；确需 reader 时三组同规则启用。 | 真实脱敏回执和正确错误处理；Key 存在或 mock 通过不够。Jev 凭据尚缺，是开跑条件，不是排除比较目标。 |
| C 核心完整任务 | 6 题 × 3 组 × 3 次 = 54 次完整任务。按每题每轮的三组平衡交错顺序，独立目录与初态。 | 全部计划槽位都有结果或未执行原因；独立验收后，先评价效果，再通过稳定性门槛判断效率。 |
| R 固定真实状态回放 | 六类真实流程各封存两个代表状态，共 12 份 state/questions；每组每份 3 次，共 108 次决策请求。 | 三组同一语义输入与候选哈希，核对动作和合法目标；只回答决策能力与请求耗时，不能写成 108 次完整网页成功。 |
S1 最多 18 次辅助流程、C 的 54 次完整任务、R 的 108 次决策请求，三者单位和目的不同，不能合成一个成功率。L01/L02 固定源文任务不进入核心结果；需要研究辅助模型阅读时再单列。
| 任务 | 真实操作和交付 | 独立验收 |
|---|---|---|
| T01 巨潮年报 | 查宁德时代 2024 全文年报并下载，整理公告日和收入、归母净利润、经营现金流、研发投入四项字段及单位与页码。 | 公告 ID、PDF 哈希、全文身份、四项字段、单位、原文页码。研发费用不能代替研发投入。 |
| T02 东方财富发行表 | 切换可转债，按申购日期倒序，整理截至运行日最近 20 只的代码、名称、申购代码、日期、发行规模及上市日。 | 分类和排序、该批独立快照的行集合与字段；空值不变成零，翻页不漏不重复。 |
| T03 政策原文核查 | 2024 设备更新行动方案及 3 月官方答记者问，区分原文、解读和日期含义，整理行动与 2027 目标。 | 文件号、主体、落款/发布日、每条主张的原文支持。只评价历史内容。 |
| T04 12306 查询 | 运行日加 5 天，上海虹桥到杭州东，07:00 含到 10:00 不含的前五班高铁及二等座状态，只查不订。 | 实际查询参数和该轮返回快照。之后变化的余票不用于追罚；验证码/限流停止并记录。 |
| T05 GitHub 调查 | microsoft/playwright：2025 年关闭、关键词 file-upload、排除 PR、按评论数前三，阅读解决结论。 | 关闭日期而非创建日期；固定排序和并列边界；closed 不等于已修复，建议需讨论证据。 |
| T06 SSE 转股统计 | 开跑前预检固定三个有效转债代码，各取最近三个有转股记录的日期，整理价格、当日/累计股数与比例。 | 代码加日期、当日和累计字段及单位逐项核对。预检无足够记录则该题不合格，不猜补。 |
完整题义以 tasks.json 为准。预先封存任务参数、数据集、原文和 oracle；答案及正确链接不泄露给被测模型。动态来源无法对齐时记来源变化无法评分，仍保留尝试记录。
首先展示全部尝试的首次无人验收通过率、最终验收、失败、环境阻断、错误完成、人工接管与未执行构成。模型返回 DONE 不是成功，只有独立检查和证据能确认。某次恢复成功也不能抹掉之前错误声称完成的事件。
正式效率结论的前提是前置流程关口有回执且配置冻结；三组在已执行范围的首次无人验收通过率均至少 90%、无错误完成、无待验的完成主张。导入工具每组至少 3 条仅作一致性初筛，完整 54 个计划槽位与真实证据要另行核对；小样本不能声称已经证明所有网站可靠。
| 指标 | 定义与用途 |
|---|---|
| 完整交付效果 | 首次无人独立通过 / 全部已尝试，所有失败都在分母；同时列计划槽位，防止挑成功样本。 |
| 业务交付效率 | 全部尝试累计有效耗时 / 首次无人通过数，失败消耗也计入。零通过则未定义，不写零。 |
| 共同成功的配对耗时比 | 同一任务、初态和重复轮里双方都首次无人通过才形成速度配对；分别报告纯 LLM/Jev、纯 LLM/StartLux、StartLux/Jev。明确这是条件统计，不丢弃主效果表中的失败。 |
| 决策开销 | 决策 HTTP 请求耗时、次数、非法动作/目标、弃权与重试；上游 HTTP 包含网络/服务开销，不称纯推理时间。 |
| 全链路拆解 | 观察、决策、辅助 LLM、浏览器执行、网站等待、独立验收及其他开销；有效执行、暂停和总墙钟分别记录，不重复相加重叠计时。 |
| 真实成本 | 分服务商与币种的实际请求、token、已知费用和未知部分；费用不全不判最便宜，不能以 OpenAI 官方价代替中转服务实际价。 |
完整任务一旦轨迹分叉，后续看到的页面自然可能不同；不能宣称每一步输入都相同。R 层固定状态回放才真正隔离同一输入下的决策质量与延时。C 层回答用户实际能否更稳定、更省时间地完成工作，两层结论分开。
试跑校准起点：每次完整任务 180 秒、60 次浏览器动作、46 次总模型请求、每次最多 8192 输出 token（高级设置可修改，实际取计划与模型配置的较小值）、请求重试 0 次；批次请求上限建议 500。三组使用相同总预算，不给某组失败后单独加预算。额度耗尽就停止并保留未完成槽位；500 次不是完成 54 轮的保证。
金额上限需先核准真实计价和最坏请求预留；不具备条件时明确显示未知金额，执行次数、token、时间硬限制。认证失败、余额不足或协议不兼容停止该组，不切其他模型救成绩；验证码或登录墙正确停止也不算查询完成。动作结果未知先回读，不自动重放。暂停停止新派发，在途同步请求可能需要等待，不能声称计费必已取消。
| 模块 | 具体行为 |
|---|---|
| 本机模型连接 | 在Mac客户端手动填写Jev、StartLux及通用模型接口、模型名与Key。Key存系统钥匙串，不进入安装包、计划、日志或报告。原单任务保留旧额度代理兼容。 |
| 共同模型契约 | 三组使用共同候选和问题构造。纯LLM允许TYPE_TEXT同响应给值；混合方案按需填字。回放仅测动作与目标，不额外要求纯LLM生成文字。 |
| 任务与证据 | 三组交错串行执行、配置冻结、请求和动作预算、暂停与历史。独立Chrome Context与下载目录，保存真实下载事件、文件哈希、PDF文本和逐步页面证据。 |
| 独立验收 | 统一reader只读取真实观察与本轮文件，采用有记录的限长选页策略。独立基准不进入模型输入。来源或证据不齐不通过；人工复核与执行中人工接管分开记录。 |
| 校准与回放 | 通用模型校准、S0执行器控制与核心成绩分开；流程关口绑定配置与执行器指纹。当前校准验证决策及统一交付整理，混合方案独立填字分支是否实际参与由核心调用记录说明。固定真实状态回放单独记录，无浏览器写入。 |
| Mac发布 | v0.3.1为Apple Silicon本机内测包，内置Python及依赖。本轮不进行收费模型调用，没有正式效果成绩。按用户选择先交本机包；Developer ID、公证、Intel及干净异机验收仍不在本次已完成范围。 |
网站用于下载安装包、保存测试计划和检视导入记录；真正执行发生在本机客户端。导入计划和保存配置不扣费，开始模型任务或校准需明确确认可能收费。Jev无Key时保留手填入口并显示未配置，不冒用其他模型。
最终报告提供配置清单、三组效果表、稳定性门槛、三对效率比较、分项请求/耗时/成本、逐题失败证据、安装验收和限制。导出 runs.jsonl、冻结计划、任务包、脱敏调用回执、oracle 检查、文件/截图和哈希索引。任何缺项都明确标记。
当前没有正式三组实测成绩。所需外部条件主要是 Jev 可用凭据、正式试跑预算、独立代理和可用于验收的第二台 Mac；其余按上述实施关口准备。方案不能把未知结果提前写成结论。
Mac 分发依据：Apple 公证要求；浏览器隔离依据：Chrome 专用用户目录与远程调试。本地源码核对的是实际实现边界，不代替真实模型调用验证。