测试方法
用同一项工作,比较实际收益。
先回答“能不能完成”,再回答“是否更高效”。
比较哪三种方案
纯大模型自己选择动作和目标;另外两种方案分别让 Jev 或 StartLux 负责决策。三组使用相同的任务、浏览器工具、初始条件和验收要求。
辅助大模型先做稳定性检查,选定后固定。它不是本次主比较对象。
怎样确认完成
浏览器点过按钮、模型说“完成”,都不足以通过测试。需要核对实际下载文件、查询结果、字段和来源。失败、阻断及人工介入都会保留。
怎样比较效果和效率
先比较完整交付情况,分别看 Jev、StartLux 相对纯大模型的变化,再比较 Jev 与 StartLux。稳定性不足时,不给出“谁最快”的结论。
时间与成本会计入失败消耗;费用不完整时明确标记。共同成功任务的耗时比只是补充信息,不代替全部尝试的结果。
结果能说明什么
结论只针对本次固定的模型、任务和条件,不代表对所有网站或所有大模型都成立。固定页面状态的决策检查与完整网页任务分开统计。