 wandering
|
64bbe53e71
|
fix(config): 让 config.json 的 URL 字段真正生效，并守住占位假值
文档一直写着「地址来自 scripts/data/config.json」，但 config.py 读 URL 只看环境变量与内置默认，
根本不读这个文件；本地那份还是改造前的旧文件，三个 URL 键是示例占位假值，还带着早已删除的
consumable_storage / attachment_dir。修法是让文档变成真的：
- 优先级：环境变量 > config.json > src/config.py 内置默认；值统一 strip；坏 JSON 或缺文件不抛，退回默认并告警
- 含 your- 的占位值按未配置处理并 WARNING：优先级一改这些假地址就会立刻生效并把登录打挂，这条守卫
是本改动自身的安全带（老文件实测：三条 WARNING 后回落到内置默认，登录不受影响）
- 凭据只从文件读（宿主清洗子进程的敏感环境变量，靠 env 传密码不可靠）；新增 safe_config() 作为唯一
可进日志的视图，load_config() 含明文密码
- 清死代码：SAFE_CONFIG_KEYS、attachment_dir（Web 时代遗留，全项目零引用）
- config.example.json 补五个可选 URL 键（留空=用默认）；.env.example 的示例赋值全部注释掉——
env 优先级最高，整份复制出去会真拿 your-sso-url 去登录
- 本地 scripts/data/config.json 去掉 7 个陈旧键，只留凭据；改前备份为 config.json.bak-20261020
- 测试 tests/test_config.py 3 → 9 例：文件覆盖默认 / env 覆盖文件 / 占位忽略 / strip / 凭据不读 env /
safe_config 无密码 / 坏文件 / 缺文件 / 返回副本 / 示例文件不得再含 your- 假值；全部指向 tmp 不碰真凭据
- 文档：操作指南写清三级优先级与占位语义，scripts/data/README 补字段表，AGENTS 增加配置优先级约束，
方案文档 §14 记录并划掉 §13.4 对应未完成项
验证：ruff / format --check / mypy src / deptry 全绿，pytest 141 passed，mcp_smoke 25 工具；
load_config() 实测无 WARNING 且 URL 与凭据取值正确。--no-verify 提交并手跑等价检查。
|
2026-10-20 11:41:34 +08:00 |
|
|
wandering
|
ceefe3c4eb
|
feat(mcp): P3 联机验证通过，新增 browser_open_form 断点续填，修 4 个联机才暴露的真 bug
联机跑通 open→login→new_form→fill(basic)→page_state→close：财务系统真的落库（单据编号 202610020850，
basic 页点「下一步」即保存）。据此补上续填能力并把测试草稿清理干净（删除前后截图 + 复查 0 命中）。
- 新增第 25 个工具 browser_open_form：列表页 #seacher 定位 → 唯一命中 → 行内单选 → #update 修改，
读回 #EXPENEXPLAIN 证明数据还在；preview_only 只定位不点开并回显 bill_no/state/amount；
命中多张直接拒绝并回 candidates，不替用户猜单据
- 修 4 个真 bug（都是单元测试看不见的）：
1) navigate_to_reimburse 单点硬等 5 秒偶发超时 → 全程轮询 + 失败带页面文字与截图；
并查明直达报销 URL 不建立会话（会被踢「长时间未操作，请重新登录!」），门户点击链是必经
2) actor.close_all 用 atexit 注册无效：concurrent.futures.thread 的钩子走 threading._register_atexit，
比 atexit 早跑，executor 已 shutdown → close 提交不进去。改为注册到同一列表，实测 close
在 playwright_0 线程执行，退出不再漏浏览器
3) wait_rows_loaded 只认 <a>，真实「查看」是 <button>，每次白等满 20 秒（也拖慢了测试套件）
4) 空结果「没有找到匹配的记录」被当成加载中，搜不到时再白等 20 秒
- browser_page_state 语义修正：logged_in 判门户 URL，进报销系统后必然 false 会误导 → 拆成
at_portal / in_reimburse_system / on_form_page
- case_status 补齐 info_both / screenshots / browser（锁持有者与心跳年龄）/ warnings（混合 info、
陈旧抽取、他人持锁）；.browser.lock 文件名由 cases.py 单一定义，actor 反向引用
- 列表页结构实测写进 AGENTS：btSelectItem 单选、#insert/#update/#delete、行内「查看」是 gzlc 流程图、
可见搜索框是 #seacher 而 #expenexplain 在收起面板（fill 会卡 30 秒）
- 测试：FakeBot 绑 BaseBot 真实行逻辑，新增 5 例续填用例（唯一命中/歧义拒绝/未命中/preview/空关键词），
134 passed 0.36s；文档 docs/MCP.md 工具参考按 wire schema 重生成（25 工具），SKILL 增「断了不要重来，
用 browser_open_form 续填」与破坏性操作纪律；方案文档 §13.5 记录联机结果、4 个 bug 与未完成项
验证：mcp_smoke 25 工具 / ruff / format / mypy / deptry / pytest 134 passed 全绿；
联机时间线见方案文档 §13.5。仍用 --no-verify 提交并手跑等价检查（原因见 AGENTS 提交纪律）。
|
2026-10-20 10:44:57 +08:00 |
|
|
wandering
|
1725244faf
|
feat(mcp): 浏览器分步填报 P3——7 个 browser 工具 + 单线程 actor + 磁盘锁
填报从「一把梭」变成分步：Agent 可以开浏览器、登录、建单、按步填、看页面、关，每步有截图，
中途失败不必从头重来。提交不在本步——提交不可逆，留给 P4 的 submit_preview/submit_execute。
- src/infra/browser/actor.py（新）：Playwright 单线程 actor（sync API 的 greenlet 线程亲和要求所有
调用回到创建线程）+ 会话注册表 + cases/<id>/.browser.lock（PID/started_at/heartbeat/url，
心跳 180 秒过期才允许接管；锁文件损坏按无锁处理；atexit 尽力关浏览器）。与 COM actor 分开。
- base.py：login_portal 拆成 submit_login + wait_for_portal（返回布尔不抛异常），新增 portal_reached/
human_required；_screenshot 支持 screenshot_dir 并按 001-步骤名.png 编号、返回路径、失败只告警
- src/mcp/tools/browser.py（新）：browser_open/login/new_form/fill/steps/page_state/close，工具 17 → 24
· need_human 用 ok:true + logged_in:false 返回（扫码不是失败，避免宿主当错误重试或另开窗口）
· 步骤顺序硬约束，跳步拒绝并用 next_action 指回该补的一步；步骤报错回传 detail.screenshot
· browser_close 明确不提交不存草稿；travel 五步、normal 四步（无 subsidy）
- tests/test_mcp_browser.py（新，17 例，FakeBot/FakePage 不起浏览器）：锁四种情形、need_human 分支与
截图落点、重复登录幂等、未打开时各工具拒绝、类型推断与两 info 并存时拒猜、未登录拒建单、跳步拦截、
步骤推进与 remaining、未知步骤、报错截图、close 释放会话与锁、open 复用、steps 两种流程
- 文档：docs/MCP.md 工具段按 wire schema 重生成（24 工具）；AGENTS/SKILL/操作指南/README/浏览器 README
同步分步流程、锁与心跳、有头默认、提交必须交人工；方案文档 §13 记录实现、取舍与未完成项
验证：
- 联机跑通 open（3.1s 起有头 Chromium）→ 锁写入（pid/heartbeat）→ page_state（about:blank，
001-state.png 4721 字节）→ 重复 open 复用（already_open=true，不多开窗）→ close（锁释放、注册表清空）
- 登录与填报的联机验证需要用户在场（SSO 可能扫码），本轮未做
- 门禁：ruff / format --check / mypy src / deptry / pytest 129 passed / mcp_smoke 24 工具
instructions 2109 字节。仍用 --no-verify 提交并手跑等价检查（原因见 AGENTS 提交纪律）。
|
2026-10-20 00:46:23 +08:00 |
|
|
wandering
|
9c6f5be56b
|
docs: 方案文档里不要再抄一遍真实工号
§12 记录清洗动作时我把真实工号原样写进了替换说明里，等于在 HEAD 里把它重新引入一次
（全新克隆扫描就是它报的命中）。改成 2024***1（真实值已隐去）。
教训：写「删掉了什么」的记录时，值本身也要脱敏，否则清洗白做。
|
2026-10-20 00:02:02 +08:00 |
|
|
wandering
|
d3728bfe51
|
docs: 记录 git 历史清洗，并把文档里的提交号重映射到新历史
- 方案文档新增 §12：为什么洗（公开文档含真实工号/姓名/16 位公务卡号/内网 LLM 地址与 key，
历史 config.json 含真实登录密码；另发现两份 .xls 是真实申购单、四组样本发票无法证明不含个人信息）、
怎么做（git-filter-repo 删 19 条路径 + 全历史替换六类特征）、怎么验证（重扫 608 个 blob 零命中、
与备份 HEAD 逐文件对比只有预期差异）、善后（改密码、轮换 Gitea token、旧 clone 重新拉、删备份 bundle）
- §11.5 第 3 项（模板选择）标记完成
- 按 .git/filter-repo/commit-map 把文档引用的 6 个提交号重映射（6 文件 10 处），
否则所有「看提交 xxx」的指引在重写后的历史里都是死链
- src/infra/documents/README.md 改写模板章节；docs/MCP.md 文档产物段、README 结构表、
AGENTS 重要约束同步模板解析顺序与 REQUISITION_TEMPLATE
- 另记一笔：.git/filter-repo/already_ran 时间戳是 2026-06-12，这个仓库六月中已洗过一次历史
|
2026-10-19 23:57:49 +08:00 |
|
|
wandering
|
e1acf2de84
|
docs: 文档全面对齐 MCP 架构，并脱敏公开操作指南
接口与入门：
- 新增 docs/MCP.md：注册方法（DSH patch + 通用 client）、返回信封、会话目录布局、标准流程、
硬约束与未实现清单；工具参考段由**运行时 input_schema 自动生成**，与代码同源不会漂移
- 删除 docs/API.md（856 行 Flask 路由/SSE 文档，描述的端点已不存在）
- 重写根 README.md：为什么放弃自带前端、职责分工表、快速开始、注册配置、流程链、结构与风险
- 重写 AGENTS.md：命令表换成 mcp/mcp-smoke/upload；mypy 目标改 src；新增「提交纪律」
（pre-commit 的 stash 窗口会回滚未暂存改动）、COM 与 Playwright 线程约束、多进程共存提醒
包文档：src/README.md 与各包 README 按现状重写；新增 src/mcp/README.md（写工具的规矩、
宿主侧四个坑）与 src/upload/README.md（路由表与安全边界）；tests/scripts/config 三处索引更新。
提示词迁移：src/infra/llm/ 整个删除，三份系统提示词迁到 .agents/skills/reimbursement/references/
（invoice-fields / travel-info-fields / normal-info-fields），删掉 can_submit 与 suggestion
（save_info 也会主动剥离），「严格只输出 JSON」改为「交给对应工具落盘」；新增 SKILL.md 作为
宿主侧操作纪律（已被 DSH 热加载为 reimbursement 技能）。
作废处理：删除 .agents/docs/guides/系统事件流全景图.md（SSE 与 file_events/agent_events 通道已整体
移除，现在没有任何事件流）；给项目架构全景图与架构分析-2026-06-15 加「已过时」横幅保留历史；
config.example.json 去 consumable_storage 加 upload_pin；.env.example 去 LLM 段并说明已不再自动加载 .env。
安全：docs/报销操作指南.md 的示例配置里原来写着**真实姓名、16 位公务卡号、内网 LLM 地址与工号**
（自 9fe5d70/2026-05-25 起在版本历史里），本次全部换成占位符。历史清洗与令牌轮换另议。
门禁（改动含 src/infra/llm 删除，故重跑全部门禁）：
ruff check PASS | ruff format --check PASS(42) | mypy src PASS(34) | deptry PASS(36) |
pytest 107 passed | scripts/mcp_smoke.py PASS（17 工具 / instructions 1449 字节 / case_list ok）
申购单在依赖清理后另已实机复测：2.4s 生成，产物单元格读回正确。
|
2026-10-19 22:40:06 +08:00 |
|
|
wandering
|
14b6b4c2d7
|
feat: MCP 服务器与上传收件器，确立 cases/ 会话模型
- src/mcp: 15 个工具（材料 / 抽取交接 / 匹配 / 校验 / 骨架），stdio 入口 python -m src.mcp.server
- src/upload: 独立进程的扫码上传收件器（服务端 segno 二维码、零 CDN、令牌强制、只写不读）
- src/cases.py: 会话目录唯一实现，阶段由产物推导，不再存在状态机文件
- core/extraction: 拆出 cache.py（纯 IO）与 render.py（PDF 渲染 + 文本层 + 自动转正）
- core/matching: runner.py 从缓存匹配，输出 review_required 而非只给贪心结果
- schemas.py: 抽取字段定义单一真源；payment 补 merchant（validator 早已要求却从未采集）
- config: 修 _CONFIG_PATH 多一层 parent 导致 username/password 恒为空；新增 upload_pin
- 类型: validator.py 10 处与 browser/__init__ 2 处既存 mypy 错误一并修掉（行为以快照 diff 验证不变）
- 依赖: +mcp 2.3.0 +segno；cases/ 与 .mnemon/ 进 .gitignore
- 实测记录: .agents/docs/plans/MCP化改造方案-2026-10-19.md（含 DSH 注册与热重连结论）
注: 本提交用 --no-verify 跳过 pre-commit，等价的 ruff/format 检查已手动跑过（见下条提交说明）。
|
2026-10-19 19:54:48 +08:00 |
|