{
  "schema_version": "3.0",
  "title": "纯大模型 Jev StartLux 三组真实网页任务",
  "generated_on": "2026-11-01",
  "timezone": "Asia/Shanghai",
  "status": "draft_not_executed",
  "attempts": 0,
  "success_rate": null,
  "scope": "核心为6类真实网页工作及固定真实状态决策回放；通用LLM只作辅助配置校准。",
  "execution_notice": "以v3为准。旧v2通用模型主比较矩阵作废；凭据与流程门槛未通过，不代表模型测试已执行。",
  "protocol": {
    "separation": [
      "original_real_model",
      "modified_real_model",
      "execution_layer_control",
      "fixed_source_pack_llm"
    ],
    "model_roles": [
      "general_planner_or_text_model",
      "browser_decision_model",
      "browser_executor",
      "independent_oracle"
    ],
    "model_receipt": [
      "provider",
      "resolved_model_id",
      "request_id_when_available",
      "timestamp",
      "prompt_or_input_hash",
      "output_action",
      "latency_ms",
      "input_tokens",
      "output_tokens",
      "error_class"
    ],
    "forbidden_evidence": "不保存.env、密钥、Authorization、cookie、登录凭据；合法调用凭据由已有隔离运行环境处理，日志只留脱敏调用回执。",
    "access": "核心任务只读与下载；不注册、不发帖、不订票、不绕验证码、不安装到日常Chrome。站点返回403/验证码/限流属于环境阻断，应停止并保留证据。",
    "oracle_isolation": "oracle独立执行且只对评测员可见。模型只收到goal、inputs和start_url；reference_urls、答案、哈希、DOM断言与采集器结果不得偷渡进模型输入。",
    "fixed_conditions": [
      "repo_commit",
      "original_or_modified",
      "browser_version",
      "viewport",
      "model_resolved_id",
      "planner_version",
      "task_id",
      "dataset_id",
      "action_budget",
      "time_budget",
      "tool_permissions"
    ],
    "initial_run_policy": "核心6题x3组x3次=54次完整任务；辅助校准最多18次另计；12状态x3组x3次=108决策回放请求单列。",
    "ranking_control": "主实验为llm_only、LLM+Jev、LLM+StartLux三组；固定同一通用LLM、执行器、任务初态、观察与验收。",
    "source_change": "动态源在开跑前和结束后留快照。能对齐agent所见响应则按该时点评分；无法对齐标unscorable_source_changed，不随意判成功或失败。",
    "allowed_outcomes": [
      "pass_independently_verified",
      "task_failed",
      "environment_blocked",
      "model_request_failed",
      "preflight_ineligible",
      "unscorable_source_changed",
      "not_executed"
    ],
    "denominator": "完成率报告必须同时展示分母构成；环境阻断、模型调用失败不得隐藏。可另报可执行样本完成率，但同时给全部尝试完成率。",
    "failure_attribution": [
      "navigation_or_target_choice",
      "executor_limit",
      "content_extraction",
      "reasoning_or_citation",
      "oracle_or_source_change",
      "environment",
      "model_request"
    ],
    "final_report_per_task": [
      "id",
      "dataset_id",
      "commit",
      "models_and_roles",
      "browser",
      "attempt_count",
      "first_attempt_outcome",
      "retries",
      "action_trace",
      "model_receipts",
      "independent_checks",
      "artifacts",
      "failure_reason",
      "human_takeover",
      "latency",
      "tokens_and_cost_if_actual"
    ],
    "limitations": "六个核心任务不覆盖真实上传写入、多步业务提交、授权登录续期或iframe/ShadowDOM全部边界；不得从这些任务推断覆盖。",
    "llm_participation": "纯LLM由选定通用模型承担决策；两混合组由Jev/StartLux承担决策，通用模型只在需生成文字或阅读时参与。调用按职责互斥归因，同一HTTP请求不得重复计时计费。",
    "zero_model_controls": "执行器直接检查单列，不能算三组任何模型成绩。"
  },
  "tasks": [
    {
      "execution_status": "not_executed",
      "attempts": 0,
      "success_rate": null,
      "llm_participation": {
        "required_for_model_evaluation": true,
        "actually_participated": null,
        "browser_decision": "真实模型根据本轮页面观察选择下一步动作与目标；记录模型请求回执和实际执行动作，不能由脚本预先选择正确元素再冒充模型决定。",
        "planner_or_text_model": "可负责任务分解和答案组织，但必须记录与浏览器判断模型不同的角色、模型和调用。",
        "deterministic_components": "浏览器执行、下载监听、PDF文本解析、精确数值归一化和独立验收属于程序能力；不得归功于模型。",
        "control_run": "没有真实模型调用的直接脚本或stub仅记execution_layer_control；不能进入真实模型成功率。"
      },
      "id": "T01",
      "site": "巨潮资讯",
      "start_url": "https://www.cninfo.com.cn/new/index",
      "goal": "请在巨潮资讯找到宁德时代（300750）2024年年度报告全文，下载PDF，整理公告日、2024年营业收入、归属于上市公司股东的净利润、经营活动产生的现金流量净额及研发投入金额。每项保留原始单位、原文页码和来源链接；不要把年报摘要或2025年度报告当作目标。",
      "inputs": {
        "company": "宁德时代",
        "security_code": "300750",
        "report_year": 2024,
        "document_type": "年度报告全文",
        "fields": [
          "公告日",
          "营业收入",
          "归属于上市公司股东的净利润",
          "经营活动产生的现金流量净额",
          "研发投入金额"
        ],
        "download_directory": "每次运行独立的空目录，由runner注入"
      },
      "preflight_checks": [
        "用独立预检确认目标全文公告存在，记录公告ID、标题、公告日、PDF最终URL、页数与SHA-256；不将正确PDF链接或字段值交给被测模型。",
        "确认匿名访问与下载可用；出现验证码或访问限制记录environment_blocked，不绕过。",
        "建立PDF纸面页码与文件页序的对应；研发投入金额与研发费用应分别核对，不默认等价。"
      ],
      "oracle": {
        "type": "固定文档的人工复核＋确定性文件/数值检查",
        "reference_urls": [
          "https://static.cninfo.com.cn/finalpage/2025-03-15/1222806982.PDF"
        ],
        "sealed_answer_status": "not_built",
        "expected_values": null,
        "checks": [
          "下载文件非空、可解析为PDF、哈希等于本批次选定全文；若官方合法重发，重新封存并使用新的dataset_id。",
          "公告ID、报告年度与全文身份正确。",
          "四项数值、单位与同一全文的表格逐项匹配；数字允许等值单位换算，但必须同时报告原始值。",
          "引用页码与原句确实支持相邻字段；业务期间2024与同比2023不可串列。"
        ]
      },
      "ground_truth": {
        "kind": "static_document_with_version",
        "build": "验收员从公告元数据与官方PDF建立答案；两人或一次人工＋独立解析复核后封存。",
        "version_keys": [
          "announcement_id",
          "pdf_sha256",
          "retrieved_at"
        ],
        "dynamic_risk": "官网重发、更正或链接变更；不以PDF路径日期代替公告日。"
      },
      "failure_conditions": [
        "下载摘要、错误年度或非目标公司文件",
        "下载按钮已点击但无完成文件",
        "任一必填字段缺失、错列或单位错",
        "把研发费用冒充研发投入",
        "引用不能支持结论",
        "用搜索摘要代替原文"
      ],
      "substitutability": {
        "level": "high_for_fixed_known_document",
        "alternative": "已知公告ID后的直接下载＋PDF解析更简单；浏览器模型价值主要在未知导航、文档消歧与异常解释。",
        "disqualifier": "若用固定链接或验收答案直接完成被测路线，不能称端到端搜索成功。"
      },
      "source_precheck": {
        "checked_on": "2026-11-01",
        "status": "官方PDF搜索结果已定位；尚未下载建立哈希或执行模型任务",
        "reference_url": "https://static.cninfo.com.cn/finalpage/2025-03-15/1222806982.PDF"
      },
      "source_task_id": "R01_CNINFO_CATL_2024"
    },
    {
      "execution_status": "not_executed",
      "attempts": 0,
      "success_rate": null,
      "llm_participation": {
        "required_for_model_evaluation": true,
        "actually_participated": null,
        "browser_decision": "真实模型根据本轮页面观察选择下一步动作与目标；记录模型请求回执和实际执行动作，不能由脚本预先选择正确元素再冒充模型决定。",
        "planner_or_text_model": "可负责任务分解和答案组织，但必须记录与浏览器判断模型不同的角色、模型和调用。",
        "deterministic_components": "浏览器执行、下载监听、PDF文本解析、精确数值归一化和独立验收属于程序能力；不得归功于模型。",
        "control_run": "没有真实模型调用的直接脚本或stub仅记execution_layer_control；不能进入真实模型成功率。"
      },
      "id": "T02",
      "site": "东方财富数据中心",
      "start_url": "https://data.eastmoney.com/xg/xg/?mkt=kzz",
      "goal": "在东方财富新股申购与中签查询页面切换到可转债，按申购日期从新到旧，整理截至本次运行日期已进入申购日的最近20只可转债。列出债券代码、简称、申购代码、申购日期、发行规模及其单位、上市日期；未公布项目写未公布，不推测。需要翻页时继续读取，并说明排序与截止时间。",
      "inputs": {
        "category": "可转债",
        "as_of_date": "由runner取Asia/Shanghai批次开始日期",
        "count": 20,
        "definition_of_recent": "申购日期非空且不晚于as_of_date，按申购日降序；同日按债券代码升序",
        "fields": [
          "债券代码",
          "简称",
          "申购代码",
          "申购日期",
          "发行规模",
          "发行规模单位",
          "上市日期"
        ],
        "tie_break": "债券代码升序"
      },
      "preflight_checks": [
        "确认页面当前确有可转债分类、所需字段和至少20条符合条件记录；若改版缺字段，停止并生成任务修订，不能默默用股票列代替。",
        "检查旧/kzz/地址的重定向，固定实际起始URL。",
        "独立采集完整候选集合及分页总数，封存本批次基准；不要把前20答案交给模型。",
        "确认发行规模单位，以实际可转债列头为准，不沿用股票页面万股。"
      ],
      "oracle": {
        "type": "独立公开数据采集＋记录集合/排序/字段检查",
        "sealed_answer_status": "not_built",
        "expected_values": null,
        "checks": [
          "独立采集器从该网站实际公开数据响应得到完整候选集合，人工抽查页面字段映射；不得使用模型答案反建答案。",
          "按约定截止日、排序和同日规则计算前20，逐债券代码比对零漏行、零重复、字段及单位一致。",
          "保存页码或响应覆盖范围，不能只核对第一页。"
        ]
      },
      "ground_truth": {
        "kind": "dynamic_batch_snapshot",
        "build": "每个比较批次开跑前封存同一公开数据响应集合；保存查询条件、总数、请求时间、数据时间和哈希。",
        "version_keys": [
          "as_of_date",
          "query",
          "response_sha256",
          "captured_at"
        ],
        "change_policy": "批次后独立复采；若目标集合或字段变化，按agent实际观察响应核对并标source_changed。不得拿旧排名机械判错；无法对齐则该轮不可评分。"
      },
      "failure_conditions": [
        "停留在股票/REITs分类",
        "把将来申购记录计入已到申购日集合",
        "少于20条却未说明真实不足",
        "翻页遗漏或重复",
        "数字/单位串列",
        "声称排序但结果不满足约定"
      ],
      "substitutability": {
        "level": "high",
        "alternative": "如果公开数据结构稳定，确定性采集/排序更合适；本题测浏览器在动态分类、分页与表头变化下的操作能力。",
        "disqualifier": "模型路线直接读取验收器预整理的前20列表。"
      },
      "source_precheck": {
        "checked_on": "2026-11-01",
        "status": "页面及旧地址重定向已通过网页读取确认；完整可转债字段与数据尚需真实浏览器预检",
        "reference_url": "https://data.eastmoney.com/xg/xg/?mkt=kzz"
      },
      "source_task_id": "R02_EASTMONEY_CB_ISSUANCE_20"
    },
    {
      "execution_status": "not_executed",
      "attempts": 0,
      "success_rate": null,
      "llm_participation": {
        "required_for_model_evaluation": true,
        "actually_participated": null,
        "browser_decision": "真实模型根据本轮页面观察选择下一步动作与目标；记录模型请求回执和实际执行动作，不能由脚本预先选择正确元素再冒充模型决定。",
        "planner_or_text_model": "可负责任务分解和答案组织，但必须记录与浏览器判断模型不同的角色、模型和调用。",
        "deterministic_components": "浏览器执行、下载监听、PDF文本解析、精确数值归一化和独立验收属于程序能力；不得归功于模型。",
        "control_run": "没有真实模型调用的直接脚本或stub仅记execution_layer_control；不能进入真实模型成功率。"
      },
      "id": "T03",
      "site": "中国政府网及国家发展改革委等官方页面",
      "start_url": "https://www.gov.cn/zhengce/",
      "goal": "查找2024年《推动大规模设备更新和消费品以旧换新行动方案》（国发〔2024〕7号）原文，以及国家发展改革委2024年3月的官方答记者问。分别整理发布主体、文件落款日、网页发布日期、四项主要行动和原文中的2027年目标；再列出官方解读补充的两点信息，逐项标明来自原文还是解读并附链接。只说明该历史文件内容，不判断今天是否仍适用。",
      "inputs": {
        "policy_title": "推动大规模设备更新和消费品以旧换新行动方案",
        "document_number": "国发〔2024〕7号",
        "interpretation": "国家发展改革委2024年3月就该行动方案答记者问",
        "historical_cutoff": "2024-03-31",
        "required_source_domains": [
          "gov.cn",
          "ndrc.gov.cn",
          "mee.gov.cn"
        ],
        "allowed_republication": "官方部门完整转载可用，但需标注转载网站与原发布机关"
      },
      "preflight_checks": [
        "独立确认原文和同一政策的答记者问，排除2024年7月加力措施与2026年新通知。",
        "验证中国政府网起始入口可访问；若403，可使用已宣布的官方部门入口替代，单独记录route_variant，不能暗中改变起始条件。",
        "封存两份官方正文的哈希、段落编号和日期元数据。"
      ],
      "oracle": {
        "type": "固定官方原文/解读的来源与事实核对",
        "reference_urls": [
          "https://www.mee.gov.cn/zcwj/gwywj/202403/t20240318_1068594.shtml",
          "https://www.ndrc.gov.cn/xxgk/jd/jd/202403/t20240314_1364939_ext.html"
        ],
        "sealed_answer_status": "not_built",
        "expected_values": null,
        "checks": [
          "文件号、发布主体和两类日期分别正确。",
          "四项行动和2027目标逐条有原文证据，数字和比较基期正确。",
          "两点解读补充确在答记者问出现，不可把原文复述伪装成新增内容。",
          "所有链接指向实际支持的官方原始页面或明确标注的官方转载。"
        ]
      },
      "ground_truth": {
        "kind": "static_historical_source_pack",
        "build": "独立整理官方两份正文，建立段落级事实表，封存后跨模型共用。",
        "version_keys": [
          "source_url",
          "content_sha256",
          "paragraph_id",
          "retrieved_at"
        ],
        "dynamic_risk": "网页改版、转载日期与文件落款日不一致；本题不涉及现行政策适用判断。"
      },
      "failure_conditions": [
        "以新闻摘要替代政策原文",
        "混入不同年份或不同文件号",
        "落款日与网页发布日期混为一谈",
        "引用缺失或原文与解读来源混淆",
        "未检索到时编造官方解读"
      ],
      "substitutability": {
        "level": "medium",
        "alternative": "已知两页时规则提取可完成标题/日期；区分文件层级、解释与原文需要语言理解，不能只以抓到链接判通过。",
        "disqualifier": "搜索摘要直接当作全文证据。"
      },
      "source_precheck": {
        "checked_on": "2026-11-01",
        "status": "官方原文转载与发改委答记者问已定位；中国政府网首页本次web读取403，真实浏览器可用性待预检",
        "reference_urls": [
          "https://www.mee.gov.cn/zcwj/gwywj/202403/t20240318_1068594.shtml",
          "https://www.ndrc.gov.cn/xxgk/jd/jd/202403/t20240314_1364939_ext.html"
        ]
      },
      "source_task_id": "R03_POLICY_ORIGINAL_AND_INTERPRETATION"
    },
    {
      "execution_status": "not_executed",
      "attempts": 0,
      "success_rate": null,
      "llm_participation": {
        "required_for_model_evaluation": true,
        "actually_participated": null,
        "browser_decision": "真实模型根据本轮页面观察选择下一步动作与目标；记录模型请求回执和实际执行动作，不能由脚本预先选择正确元素再冒充模型决定。",
        "planner_or_text_model": "可负责任务分解和答案组织，但必须记录与浏览器判断模型不同的角色、模型和调用。",
        "deterministic_components": "浏览器执行、下载监听、PDF文本解析、精确数值归一化和独立验收属于程序能力；不得归功于模型。",
        "control_run": "没有真实模型调用的直接脚本或stub仅记execution_layer_control；不能进入真实模型成功率。"
      },
      "id": "T04",
      "site": "中国铁路12306",
      "start_url": "https://kyfw.12306.cn/otn/leftTicket/init",
      "goal": "查询{{travel_date}}上海虹桥到杭州东的高铁列车，只保留07:00（含）至10:00（不含）出发的车次，按出发时间列出前5班的车次、出发/到达站、出发/到达时刻、历时和二等座状态。只查询，不预订、不选择乘车人、不启动自动提交。若少于5班，列出实际结果；若被验证码或限流拦住，停止并报告。",
      "inputs": {
        "timezone": "Asia/Shanghai",
        "travel_date": "批次开始日期＋5个日历日；同一批次各实现使用同一个解析后的ISO日期",
        "example_only": {
          "batch_date": "2026-11-01",
          "travel_date": "2026-11-06"
        },
        "from_station": "上海虹桥",
        "to_station": "杭州东",
        "train_type_definition": "G字头高铁",
        "departure_interval": "[07:00,10:00)",
        "count": 5,
        "sort": [
          "departure_time_asc",
          "train_code_asc"
        ]
      },
      "preflight_checks": [
        "确认travel_date在网站当前可查询窗口内，并一次性冻结批次日期，跨午夜不得改题。",
        "确认匿名只读查询可用；不登录、不读cookie、不提取凭据；验证码/限流不绕过。",
        "检查站名候选选择与实际查询站点一致，不能把上海虹桥替换上海站或杭州东替换杭州站。",
        "确认自动查询/自动提交功能未开启，只允许有限次数人工等价查询。"
      ],
      "oracle": {
        "type": "本次查询响应＋独立界面/参数验收",
        "sealed_answer_status": "not_built",
        "expected_values": null,
        "checks": [
          "独立旁路记录本次查询参数中的日期和站点，以及实际返回结果数据；只保存业务结果，剔除cookie/token/个人信息。",
          "验收器按车次类型、时段和顺序计算前5条，并人工核查一条页面显示。",
          "车次与时刻和同次响应一致；二等座状态以同次响应时点验收。",
          "无预订、候补、乘车人选择或订单提交动作。"
        ]
      },
      "ground_truth": {
        "kind": "dynamic_per_run_observation",
        "build": "动态余票不能跨分钟冻结成唯一答案；保存agent本次查询的原始业务响应、查询时间及哈希，由独立程序验收。",
        "version_keys": [
          "travel_date",
          "from_station",
          "to_station",
          "response_sha256",
          "observed_at"
        ],
        "change_policy": "独立后查只验证来源和字段语义；后查余票变化不得计作模型失败。未取得同次结果则不对余票值作强一致评分。"
      },
      "failure_conditions": [
        "日期或站点错",
        "筛选时段/车次类型错",
        "重复查询直至触发限流",
        "编造未显示余票",
        "任何预订/候补/自动提交行为",
        "验证码出现仍持续尝试"
      ],
      "substitutability": {
        "level": "high_for_fixed_route",
        "alternative": "固定路线的确定性UI流程可替代；本题衡量真实日期控件、候选站名和动态结果理解，不证明语言模型不可替代。",
        "disqualifier": "直接把验收接口结果交给被测模型而未完成UI查询。"
      },
      "source_precheck": {
        "checked_on": "2026-11-01",
        "status": "真实页面日期/车站/时间过滤入口已通过网页读取确认；未发起车票查询",
        "reference_url": "https://kyfw.12306.cn/otn/leftTicket/init"
      },
      "source_task_id": "R04_12306_DATE_AND_FILTER"
    },
    {
      "execution_status": "not_executed",
      "attempts": 0,
      "success_rate": null,
      "llm_participation": {
        "required_for_model_evaluation": true,
        "actually_participated": null,
        "browser_decision": "真实模型根据本轮页面观察选择下一步动作与目标；记录模型请求回执和实际执行动作，不能由脚本预先选择正确元素再冒充模型决定。",
        "planner_or_text_model": "可负责任务分解和答案组织，但必须记录与浏览器判断模型不同的角色、模型和调用。",
        "deterministic_components": "浏览器执行、下载监听、PDF文本解析、精确数值归一化和独立验收属于程序能力；不得归功于模型。",
        "control_run": "没有真实模型调用的直接脚本或stub仅记execution_layer_control；不能进入真实模型成功率。"
      },
      "id": "T05",
      "site": "GitHub / microsoft/playwright",
      "start_url": "https://github.com/microsoft/playwright/issues",
      "goal": "在microsoft/playwright仓库中查找关闭日期落在2025年的已关闭issue，使用关键词file-upload（不是标签），排除PR，并按评论数从多到少排序。打开前三条，整理issue编号、标题、链接、关闭日期、评论数以及讨论中能证实的解决结论；closed不代表已经修复，无法确认就注明。若不足3条，报告实际数量并保留原查询条件。",
      "inputs": {
        "repository": "microsoft/playwright",
        "kind": "issue",
        "state": "closed",
        "closed_range": "2025-01-01..2025-12-31",
        "keyword": "file-upload",
        "query": "repo:microsoft/playwright is:issue is:closed closed:2025-01-01..2025-12-31 \"file-upload\" sort:comments-desc",
        "sort": "comments_desc",
        "count": 3,
        "comment_definition": "GitHub issue页面/搜索所报告的评论数，不是reactions数，也不是评论中的前三段"
      },
      "preflight_checks": [
        "匿名打开仓库issues和搜索，确认精确查询语法可用并返回计数。",
        "按同一查询独立收集候选ID、closed_at、comments、updated_at，确认是否至少3条；不足3条保留题意，不改关键词凑数。",
        "关键词可能匹配issue正文或评论，验收以GitHub该精确查询结果为集合定义；不要自行把任意上传相关issue加入。",
        "评论数并列位于第3名边界时，封存该次服务端排序，并定义等分边界可接受集合。"
      ],
      "oracle": {
        "type": "GitHub独立只读检索＋issue原讨论人工核对",
        "sealed_answer_status": "not_built",
        "expected_values": null,
        "query": "repo:microsoft/playwright is:issue is:closed closed:2025-01-01..2025-12-31 \"file-upload\" sort:comments-desc",
        "checks": [
          "仓库、is:issue、is:closed、closed日期范围、关键词与sort都正确。",
          "前三条属于独立查询结果且评论数降序；边界并列按预检封存规则验收。",
          "编号、关闭时间、评论数与同批次公开数据一致。",
          "结论有具体comment permalink或维护者说明支持；标记为not planned/duplicate/question不能改写为已修复。"
        ]
      },
      "ground_truth": {
        "kind": "historical_filter_dynamic_rank",
        "build": "关闭时间范围固定但评论数/状态/搜索索引可变化；每批次冻结查询结果及所选issue正文/评论快照，独立建立事实表。",
        "version_keys": [
          "query",
          "captured_at",
          "issue_id",
          "updated_at",
          "comments",
          "response_sha256"
        ],
        "change_policy": "结束后复查所选与边界记录；变化引起排名变动按agent观察快照核对，标source_changed；不能沿用前一天前三名。"
      },
      "failure_conditions": [
        "按创建日期而非关闭日期过滤",
        "误用label:file-upload",
        "包含PR或其他仓库",
        "按reactions排序",
        "把关闭状态直接解释成bug已修复",
        "前三条遗漏/排名不满足条件且非允许并列"
      ],
      "substitutability": {
        "level": "high_for_filtering_medium_for_resolution_summary",
        "alternative": "GitHub公开API可完成条件查询和排名；总结讨论最终结论仍需语义核对。UI和API两个路线分开评分。",
        "disqualifier": "直接调用oracle已封存前三名作为模型搜索结果。"
      },
      "source_precheck": {
        "checked_on": "2026-11-01",
        "status": "仓库与相关真实issue存在；精确查询本次web读取受限，候选数和前三名未验证",
        "reference_urls": [
          "https://github.com/microsoft/playwright/issues",
          "https://github.com/microsoft/playwright/issues/34300"
        ]
      },
      "source_task_id": "R05_GITHUB_CLOSED_UPLOAD_TOP3"
    },
    {
      "execution_status": "not_executed",
      "attempts": 0,
      "success_rate": null,
      "llm_participation": {
        "required_for_model_evaluation": true,
        "actually_participated": null,
        "browser_decision": "真实模型根据本轮页面观察选择下一步动作与目标；记录模型请求回执和实际执行动作，不能由脚本预先选择正确元素再冒充模型决定。",
        "planner_or_text_model": "可负责任务分解和答案组织，但必须记录与浏览器判断模型不同的角色、模型和调用。",
        "deterministic_components": "浏览器执行、下载监听、PDF文本解析、精确数值归一化和独立验收属于程序能力；不得归功于模型。",
        "control_run": "没有真实模型调用的直接脚本或stub仅记execution_layer_control；不能进入真实模型成功率。"
      },
      "id": "T06",
      "site": "上海证券交易所可转债转股统计",
      "start_url": "https://www.sse.com.cn/market/bonddata/convertible/",
      "goal": "分别查询{{codes}}三只可转债，整理每只最近3个有转股记录的交易日，列出证券代码、简称、转股价、当日转股数量（股）、累计转股数量（股）、累计转股比例（%）和转股日。需要历史页或翻页时继续读取；注明数据中交易日的含义，不把未发生转股的日期补成零。",
      "inputs": {
        "codes": null,
        "code_selection": "由独立预检从当前真实页面选出3个能查到至少3个历史记录日期的有效证券代码，按代码升序固定给本批次所有实现；不固定已退市代码，也不需要这些债券当前仍上市。",
        "records_per_code": 3,
        "fields": [
          "证券代码",
          "简称",
          "转股价",
          "当日转股数量（股）",
          "累计转股数量（股）",
          "累计转股比例（%）",
          "转股日"
        ],
        "sort": [
          "security_code_asc",
          "conversion_date_desc"
        ]
      },
      "preflight_checks": [
        "实际使用代码检索和更多历史数据入口，确认3个候选都可查到至少3条有效日期记录；记录选择过程及排除原因。",
        "在runner开始前写入codes并封存；执行中不得为某实现换成更容易的代码。",
        "核对字段定义及单位，尤其股数与债券张数、当日与累计字段；不要根据名称猜测。",
        "当前记录数量不足则preflight_ineligible，不让模型猜补数据。"
      ],
      "oracle": {
        "type": "独立官方数据集＋逐业务键/字段比对",
        "sealed_answer_status": "not_built",
        "expected_values": null,
        "checks": [
          "独立读取同代码对应官方公开数据与历史页，按代码＋转股日去重并取最近3个有记录日期。",
          "结果恰为3代码×3记录，或在基准变化时给出可复核的实际覆盖；无漏项、重复和串列。",
          "数值精度和单位与原表一致；不得对股数进行未经任务要求的债券面额换算。",
          "说明交易日字段以官方页面注释为准。"
        ]
      },
      "ground_truth": {
        "kind": "preflight_selected_dynamic_official_snapshot",
        "build": "预检独立封存3代码对应的全部候选记录、选择截止时间和数据哈希，再开始被测路线。",
        "version_keys": [
          "codes",
          "captured_at",
          "response_sha256",
          "latest_record_date"
        ],
        "change_policy": "若新转股记录进入最近3行，独立核对agent观察时点并标source_changed；不同批次允许换数据集但不能混用成功率。"
      },
      "failure_conditions": [
        "代码未由预检固定",
        "读到三代码但少于所需日期记录且未说明",
        "当日量与累计量串列",
        "把股数当债券张数或擅自换算",
        "跨页重复漏行",
        "仅凭页面可打开就报告成功"
      ],
      "substitutability": {
        "level": "high",
        "alternative": "官方公开数据直接只读查询更适合批量统计；该题专测模型对中文字段、搜索状态、分页和数据来源的掌握。",
        "disqualifier": "向模型暴露封存答案或让外层程序直接生成九行最终数据。"
      },
      "source_precheck": {
        "checked_on": "2026-11-01",
        "status": "当前官网存在代码输入、明细表与更多历史数据入口；三个有效测试代码尚未预检确定",
        "reference_url": "https://www.sse.com.cn/market/bonddata/convertible/"
      },
      "source_task_id": "R06_SSE_CONVERSION_THREE_CODES"
    }
  ],
  "llm_heavy_extensions": [
    {
      "execution_status": "not_executed",
      "attempts": 0,
      "success_rate": null,
      "llm_participation": {
        "required_for_model_evaluation": true,
        "actually_participated": null,
        "browser_decision": "真实模型根据本轮页面观察选择下一步动作与目标；记录模型请求回执和实际执行动作，不能由脚本预先选择正确元素再冒充模型决定。",
        "planner_or_text_model": "可负责任务分解和答案组织，但必须记录与浏览器判断模型不同的角色、模型和调用。",
        "deterministic_components": "浏览器执行、下载监听、PDF文本解析、精确数值归一化和独立验收属于程序能力；不得归功于模型。",
        "control_run": "没有真实模型调用的直接脚本或stub仅记execution_layer_control；不能进入真实模型成功率。",
        "semantic_load": "high",
        "why": "需要跨文件归因、时间比较、综合表达及保留未知，单纯字段抽取不能满足目标。"
      },
      "id": "L01",
      "site": "国务院及国家发展改革委官方政策页面",
      "start_url": "https://www.ndrc.gov.cn/",
      "goal": "基于2024年3月的设备更新行动方案、配套官方答记者问，以及2024年7月加力支持措施，写一份面向普通读者的历史比较：原始目标是什么，7月新增了哪些具体支持，哪些问题仅凭这些文件仍不能回答。按设备更新与消费品以旧换新分别整理，每个事实连接到原文段落；分清目标、解释和已出台措施，不作当前补贴资格建议。",
      "inputs": {
        "source_titles": [
          "推动大规模设备更新和消费品以旧换新行动方案",
          "国家发展改革委有关负责同志就该行动方案答记者问",
          "关于加力支持大规模设备更新和消费品以旧换新的若干措施"
        ],
        "historical_cutoff": "2024-07-31",
        "output_length": "800—1200中文字符，另附事实/来源对应表",
        "required_distinctions": [
          "历史目标与实际成效",
          "原文与官方解释",
          "3月基准与7月新增",
          "能证明与不能证明"
        ]
      },
      "preflight_checks": [
        "独立封存3份真实官方文档，去除导航广告但不改写原文，保留标题、日期、章节、段落ID及URL。",
        "验收员建立至少12个关键事实/边界判据，并注明可接受的不同组织方式，不强求固定措辞。"
      ],
      "oracle": {
        "type": "盲审事实矩阵＋逐引用核对",
        "reference_urls": [
          "https://www.mee.gov.cn/zcwj/gwywj/202403/t20240318_1068594.shtml",
          "https://www.ndrc.gov.cn/xxgk/jd/jd/202403/t20240314_1364939_ext.html",
          "https://www.gov.cn/zhengce/zhengceku/202407/P020240725631501347093.pdf"
        ],
        "sealed_answer_status": "not_built",
        "expected_values": null,
        "checks": [
          "至少覆盖预先封存的关键事实，不把7月措施反填为3月原始规定。",
          "引用实际支持相邻主张，数字、对象、时间、条件完整。",
          "明确至少两项材料不足以判断的事项，不补写实施效果或今天适用性。",
          "两名独立审阅者按事实正确性、覆盖、综合理解、引用、边界各0—2分评分；有分歧复核原文，LLM裁判只能辅助。"
        ]
      },
      "ground_truth": {
        "kind": "static_multisource_pack",
        "build": "从真实官方原页面封存原文包与版本，答案用事实矩阵和可证据化边界而非唯一参考作文。",
        "version_keys": [
          "pack_id",
          "document_sha256",
          "paragraph_id"
        ],
        "dynamic_risk": "固定历史内容仍须标明网页转载或修订；不混入2025/2026政策。"
      },
      "failure_conditions": [
        "把政策目标写成已实现成效",
        "跨文件错配对象或支持条件",
        "引用不支持事实",
        "把历史规则当作现行个人资格建议",
        "文章流畅但缺关键差异"
      ],
      "evaluation_modes": [
        {
          "id": "fixed_source_pack",
          "browser": false,
          "inputs_to_model": "封存的三份真实原文与来源元数据，不含验收答案",
          "measures": "一般语言模型的跨源理解/引用质量；不计入网页任务成功率"
        },
        {
          "id": "end_to_end",
          "browser": true,
          "inputs_to_model": "目标、文档标题和官方站点起始URL；不得给出直达文档链接或封存答案",
          "measures": "检索、打开、正文取得、跨源综合的完整系统效果；与固定包模式分别报告"
        }
      ],
      "substitutability": {
        "level": "low_for_complete_output",
        "alternative": "规则可抽数字和链接，但无法充分替代跨文件差异、来源归因和未知边界整理；仍需人工验收。",
        "disqualifier": "将固定源文包成绩当成浏览器检索能力。"
      },
      "source_precheck": {
        "checked_on": "2026-11-01",
        "status": "三份官方源文URL已定位；原文包与评分事实矩阵尚未建立",
        "reference_urls": [
          "https://www.mee.gov.cn/zcwj/gwywj/202403/t20240318_1068594.shtml",
          "https://www.ndrc.gov.cn/xxgk/jd/jd/202403/t20240314_1364939_ext.html",
          "https://www.gov.cn/zhengce/zhengceku/202407/P020240725631501347093.pdf"
        ]
      },
      "source_task_id": "L01_POLICY_CROSS_SOURCE_SYNTHESIS"
    },
    {
      "execution_status": "not_executed",
      "attempts": 0,
      "success_rate": null,
      "llm_participation": {
        "required_for_model_evaluation": true,
        "actually_participated": null,
        "browser_decision": "真实模型根据本轮页面观察选择下一步动作与目标；记录模型请求回执和实际执行动作，不能由脚本预先选择正确元素再冒充模型决定。",
        "planner_or_text_model": "可负责任务分解和答案组织，但必须记录与浏览器判断模型不同的角色、模型和调用。",
        "deterministic_components": "浏览器执行、下载监听、PDF文本解析、精确数值归一化和独立验收属于程序能力；不得归功于模型。",
        "control_run": "没有真实模型调用的直接脚本或stub仅记execution_layer_control；不能进入真实模型成功率。",
        "semantic_load": "high",
        "why": "需要理解API契约、评论角色和条件，跨源组织可操作解释，能直接比较通用模型而不只测浏览器按钮选择。"
      },
      "id": "L02",
      "site": "Playwright官方文档与microsoft/playwright真实issues",
      "start_url": "https://playwright.dev/docs/input",
      "goal": "针对网页文件上传，结合Playwright官方文档与指定三条真实issue讨论，整理何时使用setInputFiles、何时等待filechooser、相对路径与运行目录怎样影响上传，以及遇到CI和本地行为不同时应先核对什么。区分官方API保证、维护者确认、用户猜测和未解决问题。每条排查建议给出处；不能把某个issue关闭等同所有版本已修复。",
      "inputs": {
        "issue_ids": null,
        "issue_selection": "优先使用R05独立封存的前三条issue；若不足3条或缺少正文可读性，扩展任务暂不就绪，不偷偷更换为更容易的讨论。",
        "official_docs": [
          "https://playwright.dev/docs/input#upload-files",
          "https://playwright.dev/docs/api/class-filechooser"
        ],
        "documentation_version": "预检时固定版本/获取时间；若文档latest与issue历史版本不同，答案必须区分",
        "output_format": "8—12条有引用的排查步骤＋来源类型/适用版本/未知项表"
      },
      "preflight_checks": [
        "核对指定issues确实涉及上传，封存issue正文、全部相关评论、评论ID、编辑时间、关闭原因及链接。",
        "封存官方文档相应章节和可确定的版本；保留代码原文但不给出验收推理。",
        "人工建立API事实、讨论结论和不确定项清单，防止把点赞高的用户推测当官方结论。"
      ],
      "oracle": {
        "type": "官方API事实表＋issue评论出处盲审",
        "reference_urls": [
          "https://playwright.dev/docs/input#upload-files",
          "https://playwright.dev/docs/api/class-filechooser",
          "https://github.com/microsoft/playwright/issues"
        ],
        "sealed_answer_status": "not_built",
        "expected_values": null,
        "checks": [
          "API语义和推荐顺序与所封存版本官方文档一致。",
          "issue引述指向具体评论，不把提问者猜测冒充维护者确认。",
          "每项建议有适用条件，无法推出的跨浏览器/跨版本结论明确留白。",
          "两名独立审阅者按事实、条件、跨源综合、引用、未知边界各0—2分评分；不能由被测模型自评通过。"
        ]
      },
      "ground_truth": {
        "kind": "versioned_docs_plus_issue_pack",
        "build": "固定官方文档和同批次issue/comment快照，以逐主张证据图和评分rubric验收，不要求单一标准作文。",
        "version_keys": [
          "pack_id",
          "docs_sha256",
          "issue_id",
          "comment_id",
          "updated_at"
        ],
        "dynamic_risk": "文档更新、评论编辑与新评论；同批次固定包一致，端到端遇到变化另记source_changed。"
      },
      "failure_conditions": [
        "杜撰API或错误事件顺序",
        "未区分文档版本与历史issue版本",
        "关闭状态被写为已修复保证",
        "关键步骤没有来源",
        "把某用户workaround写成跨平台通用官方结论"
      ],
      "evaluation_modes": [
        {
          "id": "fixed_source_pack",
          "browser": false,
          "inputs_to_model": "已封存的文档章节和三条issue讨论，不含oracle事实表",
          "measures": "模型对真实技术材料的综合理解与引用"
        },
        {
          "id": "end_to_end",
          "browser": true,
          "inputs_to_model": "任务目标、官方文档起点和预检固定的issue编号；自行访问并获取完整讨论",
          "measures": "页面阅读、长讨论覆盖、跨源推理及引用；不宣称重新测试issue筛选排名"
        }
      ],
      "substitutability": {
        "level": "low_for_complete_output",
        "alternative": "规则可抓评论和API签名，跨源条件化排查仍需要语义整理与人工审核。",
        "disqualifier": "仅引用搜索摘要或提前写好的答案，不读取指定讨论。"
      },
      "source_precheck": {
        "checked_on": "2026-11-01",
        "status": "官方文档入口已通过网页读取核对；尚未封存文档版本、选定issues或执行任何模型",
        "reference_urls": [
          "https://playwright.dev/docs/input#upload-files",
          "https://playwright.dev/docs/api/class-filechooser"
        ]
      },
      "source_task_id": "L02_PLAYWRIGHT_UPLOAD_EVIDENCE_GUIDE"
    }
  ],
  "stage_c_task_ids": [],
  "formal_tests_executed": false,
  "llm_heavy_extensions_note": "旧L01/L02只保留为可选辅助能力资料，不进入本期核心54次成绩，也不另立通用模型排行榜。"
}