wandering1/Auto-Finance
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
30 Commits 1 Branch 0 Tags
2e2519632a6c280acae4875d4da086dbf4fae52e
Commit Graph

10 Commits

Author SHA1 Message Date
wandering 6aec1bc837 fix(browser): 全流程联机验证通过，修掉附件静默假成功等 5 个真问题 
两条真实草稿走完全流程并逐张截图核对：普通报销 4 步（明细 3010109/3张/464、支付 231 工行公务卡、
附件入库，单据 202610020884）；差旅报销 5 步（明细 交通费/2张/233 火车 阜阳→合肥、补助 3×80+3×100=540、
附件入库，单据 202610030245 总额 773.00）。验完两条都按守卫删除并复查 0 命中。

修的问题（都是单元测试看不见的）：
1) 附件步骤是静默假成功：「附件说明」在财务系统里是 required，info 没给 attachment_desc 时填了空串，
   点确定被浏览器 HTML5 校验挡住——不报错、不发请求、弹窗不关，代码却打印「上传完成」回 ok:true。
   新增 base.upload_attachment()/confirm_attachment()：缺说明兜底成「发票：文件名」、提交后确认弹窗已关、
   把 validationMessage 带进异常；附件必须落在会话目录内，文件不存在直接报错（原来是静默跳过）
2) 步骤函数依赖上一步留下的页面状态：续填时停在基本信息页，#next3/#next4 存在但不可见，点它必超时。
   所有步骤改成显式 open_tab(...)，basic 标记给两个候选（日常 #EXPENEXPLAIN / 差旅 #CAUSE）
3) 导航快速通道只判断「在不在报销系统」，不比对 page_key：停在日常页却以为进了差旅页，差旅单据搜不到
   差点误判成流程坏了。抽成 on_target_page(page_key)
4) _on_reimburse 用子串比主机（http://elsewhere 会命中主机 x）→ 改 urlsplit().netloc 精确比，
   收紧后立刻联机回归，两类页面的判定各自正确
5) 空状态行「没有找到匹配的记录」既被 wait_rows_loaded 当成还在加载（每次搜索白等 20 秒），
   又被 search_forms 算成 1 条命中；两处显式判定，等待超时也从 20 秒收到 10 秒

- browser_fill：续填时前置步骤在财务系统里已完成、内存无记录，降级为 warnings 而不是拒绝（否则合法
  操作被挡），next_action 也不再瞎猜下一步
- browser_open_form 文档与未命中提示：命中判据是列表页可见文字，长说明会被截断，最稳的 match 是单据编号
- tests/test_mcp_browser.py +6 例（basic 多候选、两列表页互不认错、弹窗不关必须报错并带浏览器提示、
  附件说明兜底、路径越界与缺文件拒绝、附件清单按「附件文件名」定位表）；FakePage 加 click/validations/
  tables，让 base.py 真实逻辑不依赖 Playwright 也能测。148 passed / 1.0s
- 文档：AGENTS 增「多标签共用一页」「两个独立列表页」「附件两处硬约束」三条实测约束；浏览器包 README
  重写（含 threading._register_atexit 的正确姿势与截图含个人信息的提醒）；SKILL 补「每步自洽可单独重填」
  与附件说明兜底；方案文档 §15 记录全流程结果、5 个问题、我自己的两次误判与剩余项

验证：ruff / format / mypy src / deptry / pytest 148 passed / mcp_smoke 25 工具全绿；联机回归 16:14-16:16。
删除与提交类动作仍不进工具层。--no-verify 提交并手跑等价检查。
 2026-10-20 16:32:56 +08:00
wandering 64bbe53e71 fix(config): 让 config.json 的 URL 字段真正生效，并守住占位假值 
文档一直写着「地址来自 scripts/data/config.json」，但 config.py 读 URL 只看环境变量与内置默认，
根本不读这个文件；本地那份还是改造前的旧文件，三个 URL 键是示例占位假值，还带着早已删除的
consumable_storage / attachment_dir。修法是让文档变成真的：

- 优先级：环境变量 > config.json > src/config.py 内置默认；值统一 strip；坏 JSON 或缺文件不抛，退回默认并告警
- 含 your- 的占位值按未配置处理并 WARNING：优先级一改这些假地址就会立刻生效并把登录打挂，这条守卫
  是本改动自身的安全带（老文件实测：三条 WARNING 后回落到内置默认，登录不受影响）
- 凭据只从文件读（宿主清洗子进程的敏感环境变量，靠 env 传密码不可靠）；新增 safe_config() 作为唯一
  可进日志的视图，load_config() 含明文密码
- 清死代码：SAFE_CONFIG_KEYS、attachment_dir（Web 时代遗留，全项目零引用）
- config.example.json 补五个可选 URL 键（留空=用默认）；.env.example 的示例赋值全部注释掉——
  env 优先级最高，整份复制出去会真拿 your-sso-url 去登录
- 本地 scripts/data/config.json 去掉 7 个陈旧键，只留凭据；改前备份为 config.json.bak-20261020
- 测试 tests/test_config.py 3 → 9 例：文件覆盖默认 / env 覆盖文件 / 占位忽略 / strip / 凭据不读 env /
  safe_config 无密码 / 坏文件 / 缺文件 / 返回副本 / 示例文件不得再含 your- 假值；全部指向 tmp 不碰真凭据
- 文档：操作指南写清三级优先级与占位语义，scripts/data/README 补字段表，AGENTS 增加配置优先级约束，
  方案文档 §14 记录并划掉 §13.4 对应未完成项

验证：ruff / format --check / mypy src / deptry 全绿，pytest 141 passed，mcp_smoke 25 工具；
load_config() 实测无 WARNING 且 URL 与凭据取值正确。--no-verify 提交并手跑等价检查。
 2026-10-20 11:41:34 +08:00
wandering ceefe3c4eb feat(mcp): P3 联机验证通过，新增 browser_open_form 断点续填，修 4 个联机才暴露的真 bug 
联机跑通 open→login→new_form→fill(basic)→page_state→close：财务系统真的落库（单据编号 202610020850，
basic 页点「下一步」即保存）。据此补上续填能力并把测试草稿清理干净（删除前后截图 + 复查 0 命中）。

- 新增第 25 个工具 browser_open_form：列表页 #seacher 定位 → 唯一命中 → 行内单选 → #update 修改，
  读回 #EXPENEXPLAIN 证明数据还在；preview_only 只定位不点开并回显 bill_no/state/amount；
  命中多张直接拒绝并回 candidates，不替用户猜单据
- 修 4 个真 bug（都是单元测试看不见的）：
  1) navigate_to_reimburse 单点硬等 5 秒偶发超时 → 全程轮询 + 失败带页面文字与截图；
     并查明直达报销 URL 不建立会话（会被踢「长时间未操作，请重新登录!」），门户点击链是必经
  2) actor.close_all 用 atexit 注册无效：concurrent.futures.thread 的钩子走 threading._register_atexit，
     比 atexit 早跑，executor 已 shutdown → close 提交不进去。改为注册到同一列表，实测 close
     在 playwright_0 线程执行，退出不再漏浏览器
  3) wait_rows_loaded 只认 <a>，真实「查看」是 <button>，每次白等满 20 秒（也拖慢了测试套件）
  4) 空结果「没有找到匹配的记录」被当成加载中，搜不到时再白等 20 秒
- browser_page_state 语义修正：logged_in 判门户 URL，进报销系统后必然 false 会误导 → 拆成
  at_portal / in_reimburse_system / on_form_page
- case_status 补齐 info_both / screenshots / browser（锁持有者与心跳年龄）/ warnings（混合 info、
  陈旧抽取、他人持锁）；.browser.lock 文件名由 cases.py 单一定义，actor 反向引用
- 列表页结构实测写进 AGENTS：btSelectItem 单选、#insert/#update/#delete、行内「查看」是 gzlc 流程图、
  可见搜索框是 #seacher 而 #expenexplain 在收起面板（fill 会卡 30 秒）
- 测试：FakeBot 绑 BaseBot 真实行逻辑，新增 5 例续填用例（唯一命中/歧义拒绝/未命中/preview/空关键词），
  134 passed 0.36s；文档 docs/MCP.md 工具参考按 wire schema 重生成（25 工具），SKILL 增「断了不要重来，
  用 browser_open_form 续填」与破坏性操作纪律；方案文档 §13.5 记录联机结果、4 个 bug 与未完成项

验证：mcp_smoke 25 工具 / ruff / format / mypy / deptry / pytest 134 passed 全绿；
联机时间线见方案文档 §13.5。仍用 --no-verify 提交并手跑等价检查（原因见 AGENTS 提交纪律）。
 2026-10-20 10:44:57 +08:00
wandering 1725244faf feat(mcp): 浏览器分步填报 P3——7 个 browser 工具 + 单线程 actor + 磁盘锁 
填报从「一把梭」变成分步：Agent 可以开浏览器、登录、建单、按步填、看页面、关，每步有截图，
中途失败不必从头重来。提交不在本步——提交不可逆，留给 P4 的 submit_preview/submit_execute。

- src/infra/browser/actor.py（新）：Playwright 单线程 actor（sync API 的 greenlet 线程亲和要求所有
  调用回到创建线程）+ 会话注册表 + cases/<id>/.browser.lock（PID/started_at/heartbeat/url，
  心跳 180 秒过期才允许接管；锁文件损坏按无锁处理；atexit 尽力关浏览器）。与 COM actor 分开。
- base.py：login_portal 拆成 submit_login + wait_for_portal（返回布尔不抛异常），新增 portal_reached/
  human_required；_screenshot 支持 screenshot_dir 并按 001-步骤名.png 编号、返回路径、失败只告警
- src/mcp/tools/browser.py（新）：browser_open/login/new_form/fill/steps/page_state/close，工具 17 → 24
  · need_human 用 ok:true + logged_in:false 返回（扫码不是失败，避免宿主当错误重试或另开窗口）
  · 步骤顺序硬约束，跳步拒绝并用 next_action 指回该补的一步；步骤报错回传 detail.screenshot
  · browser_close 明确不提交不存草稿；travel 五步、normal 四步（无 subsidy）
- tests/test_mcp_browser.py（新，17 例，FakeBot/FakePage 不起浏览器）：锁四种情形、need_human 分支与
  截图落点、重复登录幂等、未打开时各工具拒绝、类型推断与两 info 并存时拒猜、未登录拒建单、跳步拦截、
  步骤推进与 remaining、未知步骤、报错截图、close 释放会话与锁、open 复用、steps 两种流程
- 文档：docs/MCP.md 工具段按 wire schema 重生成（24 工具）；AGENTS/SKILL/操作指南/README/浏览器 README
  同步分步流程、锁与心跳、有头默认、提交必须交人工；方案文档 §13 记录实现、取舍与未完成项

验证：
- 联机跑通 open（3.1s 起有头 Chromium）→ 锁写入（pid/heartbeat）→ page_state（about:blank，
  001-state.png 4721 字节）→ 重复 open 复用（already_open=true，不多开窗）→ close（锁释放、注册表清空）
- 登录与填报的联机验证需要用户在场（SSO 可能扫码），本轮未做
- 门禁：ruff / format --check / mypy src / deptry / pytest 129 passed / mcp_smoke 24 工具
  instructions 2109 字节。仍用 --no-verify 提交并手跑等价检查（原因见 AGENTS 提交纪律）。
 2026-10-20 00:46:23 +08:00
wandering d3728bfe51 docs: 记录 git 历史清洗，并把文档里的提交号重映射到新历史 
- 方案文档新增 §12：为什么洗（公开文档含真实工号/姓名/16 位公务卡号/内网 LLM 地址与 key，
  历史 config.json 含真实登录密码；另发现两份 .xls 是真实申购单、四组样本发票无法证明不含个人信息）、
  怎么做（git-filter-repo 删 19 条路径 + 全历史替换六类特征）、怎么验证（重扫 608 个 blob 零命中、
  与备份 HEAD 逐文件对比只有预期差异）、善后（改密码、轮换 Gitea token、旧 clone 重新拉、删备份 bundle）
- §11.5 第 3 项（模板选择）标记完成
- 按 .git/filter-repo/commit-map 把文档引用的 6 个提交号重映射（6 文件 10 处），
  否则所有「看提交 xxx」的指引在重写后的历史里都是死链
- src/infra/documents/README.md 改写模板章节；docs/MCP.md 文档产物段、README 结构表、
  AGENTS 重要约束同步模板解析顺序与 REQUISITION_TEMPLATE
- 另记一笔：.git/filter-repo/already_ran 时间戳是 2026-06-12，这个仓库六月中已洗过一次历史
 2026-10-19 23:57:49 +08:00
wandering e1acf2de84 docs: 文档全面对齐 MCP 架构，并脱敏公开操作指南 
接口与入门：
- 新增 docs/MCP.md：注册方法（DSH patch + 通用 client）、返回信封、会话目录布局、标准流程、
  硬约束与未实现清单；工具参考段由**运行时 input_schema 自动生成**，与代码同源不会漂移
- 删除 docs/API.md（856 行 Flask 路由/SSE 文档，描述的端点已不存在）
- 重写根 README.md：为什么放弃自带前端、职责分工表、快速开始、注册配置、流程链、结构与风险
- 重写 AGENTS.md：命令表换成 mcp/mcp-smoke/upload；mypy 目标改 src；新增「提交纪律」
  （pre-commit 的 stash 窗口会回滚未暂存改动）、COM 与 Playwright 线程约束、多进程共存提醒

包文档：src/README.md 与各包 README 按现状重写；新增 src/mcp/README.md（写工具的规矩、
宿主侧四个坑）与 src/upload/README.md（路由表与安全边界）；tests/scripts/config 三处索引更新。

提示词迁移：src/infra/llm/ 整个删除，三份系统提示词迁到 .agents/skills/reimbursement/references/
（invoice-fields / travel-info-fields / normal-info-fields），删掉 can_submit 与 suggestion
（save_info 也会主动剥离），「严格只输出 JSON」改为「交给对应工具落盘」；新增 SKILL.md 作为
宿主侧操作纪律（已被 DSH 热加载为 reimbursement 技能）。

作废处理：删除 .agents/docs/guides/系统事件流全景图.md（SSE 与 file_events/agent_events 通道已整体
移除，现在没有任何事件流）；给项目架构全景图与架构分析-2026-06-15 加「已过时」横幅保留历史；
config.example.json 去 consumable_storage 加 upload_pin；.env.example 去 LLM 段并说明已不再自动加载 .env。

安全：docs/报销操作指南.md 的示例配置里原来写着**真实姓名、16 位公务卡号、内网 LLM 地址与工号**
（自 9fe5d70/2026-05-25 起在版本历史里），本次全部换成占位符。历史清洗与令牌轮换另议。

门禁（改动含 src/infra/llm 删除，故重跑全部门禁）：
  ruff check PASS | ruff format --check PASS(42) | mypy src PASS(34) | deptry PASS(36) |
  pytest 107 passed | scripts/mcp_smoke.py PASS（17 工具 / instructions 1449 字节 / case_list ok）
申购单在依赖清理后另已实机复测：2.4s 生成，产物单元格读回正确。
 2026-10-19 22:40:06 +08:00
wandering 2f08bbd6e8 refactor: 删除自研 Agent 状态机与 SSE 事件通道 
编排（提取-校验-修正循环、轮次上限、补充材料、终态保护）由宿主 Agent 承担，本项目不再自建运行时。

- 删除 src/agent/：AgentSession/AgentState 状态机、校验-修正循环、agent_events.log 事件通道（共 878 行）
- src/web/routes.py：移除 5 个 Agent 端点与 _emit_ready_and_submit（READY 即自动提交财务系统的逻辑一并消失），
  SSE 不再轮询 agent_events.log；_run_agent_task 更名 _run_session_task；824→490 行，18→13 端点
- src/infra/documents/requisition.py：项目名来源改为 .invoice_cache/normal_info.json → travel_info.json →
  旧 agent_state.json（兼容历史会话目录）→ 默认值
- AGENTS.md：架构章节改写为 MCP 模式，CLI 与 Web 标注为遗留待删；补两条集成约束
  （required 键必须存在、宿主侧路径用正斜杠）
- tests：requisition 回退链 +3 用例；Web 冒烟确认 GET / 与保留端点正常、/api/agent/* 返回 404

门禁：ruff check / format --check / mypy src/main.py / deptry 全绿，pytest 132 passed。
注：用 --no-verify 提交——上一轮 pre-commit 在暂存-回滚窗口内被中断，把工作区里几个未暂存
文件回滚成了 HEAD 版本（已重放并逐项核对）。本仓库 pre-commit 只跑 ruff，等价检查已手动执行。
 2026-10-19 19:55:26 +08:00
wandering 9043886b6f refactor: 架构重组 — doc/bot → core/infra，新增 Agent 调度模块 
- src/doc/ 拆分为 src/core/extraction/, matching/, validation/（核心业务逻辑）
- src/bot/ 重命名为 src/infra/browser/（浏览器自动化基础设施）
- fill_consumable_doc.py → src/infra/documents/consumable.py
- 新增 Agent 调度模块：coordinator.py, events.py, session.py，重构 orchestrator.py
- 更新 AGENTS.md、README.md 及所有子目录 README
 2026-07-02 18:36:19 +08:00
wandering 01d4686ceb 实现Agent对话，合格自动提交，不合格补充材料的能力 2026-06-14 12:56:33 +08:00
wandering 07c0126741 重构项目为LLM 驱动 2026-06-09 16:25:20 +08:00