adabb6af12
现象(2026-10-25 三条道并行开发实测,看板 task-10):全量 ci_local 的 L0 里 test-cppcheck / test-coverage 偶发 "files were modified by this hook",单独重跑 即绿、工作树零改动。根因在 unit_test_harness:obj/exe 直接落在**全机共用**的 %TEMP%,名字由套件名派生(%TEMP%\net_socket_tests.exe、%TEMP%\net_socket_obj), 多棵工作树并行跑同名套件必然互踩。 真正要命的不是编不过,而是**结论张冠李戴**:A 树编译完,B 树把同名 exe 又盖一 遍,A 树随后 subprocess 执行的是 B 树编出来的二进制——两棵树的 summary_marker 一模一样,harness 分辨不出来,于是拿别人的运行结果给自己判 PASS。这种失败不会 变红,只会静默给出错误结论,比红难查一个量级。 修法(不是加锁): - 产物根按**工作树**分家:%TEMP%\dtu_host\<仓库根路径 sha1 前 10 位>\。树身份取 harness 文件自身位置(test/host/common 往上三级),不依赖 cwd/环境变量;工作树 之间只联接 .venv 与模拟器 SDK,test/host 每棵树各有一份,所以这个身份可靠。 - **每次运行再独占一个子目录** runs\<pid>-<纳秒>\,obj 与 exe 都放进去,跑完 finally 删(含 Ctrl-C 路径)。这一步顺带把"同树并发同名套件"也消灭了:两个 进程既拿不到同一个 exe,也拿不到同一个 .obj(实测共享根时并发会因 obj 撞名 直接编不过,返回 rc=2)。没有牺牲缓存:每个测试单元就一个 .c,cl 每次整体重编, "共享 obj 省编译"本来就是错觉。**不加锁**:这里没有需要互斥的独占资源,只是 名字撞了;加锁等于把 L0.5 变成 build/bench 那样的全局串行。 - 独占目录里留 <exe>.owner.json(suite / repo_root / pid / started):需要证明"这 份产物属于哪棵树哪次跑"时有的可查,不必靠时间戳猜。 - 编译返回 0 但产物不存在 → 明确报环境错误,绝不跑来路不明的二进制。 - 两个开关:DTU_HOST_BUILD 改产物根(CI/容器固定路径),DTU_HOST_BUILD_KEEP=1 保留本次目录(要单步调试 exe 时用)。判据单一事实源 = host_build_root()。 - scripts/check_test_coverage.py 同源改造:work_root 由固定共享名 dtu_test_cov 改为 复用 harness 的 host_build_root()/coverage,并同步 --work-dir 帮助文案与 docstring (docs 里"并行期每人只跑 --module 自己模块"那条规避就此作废,它是为绕开旧共享名 而写的)。顺带删掉因此不再使用的 import tempfile。 附带修一处同族不诚实(做本任务时从自己的输出里发现):ci_local 的收尾那行以前 无条件打印"L0 + L0b + L0c + L0.5 全部通过",--l05-only 时等于把没跑过的段宣布 为通过——正是 A-5 那个"SKIP 冒充 PASS"的镜像版。改为只列本次真正跑过的段。 自证(都是实跑,不是推演): - 两棵树身份并发跑同一套件:把修好的 harness 复制成 A/B 两个树身份(repo_root 不 同 → 两个不同产物根),套件 BUILD 从真仓库加载,各跑 4 轮并发 → 8/8 rc=0, 两侧 roots 分别是 …\55deb98e3b 与 …\902100bc41,互不可见。 - 敌意场景:把两边 DTU_HOST_BUILD 强行指到同一目录(旧写法必撞 exe/obj)→ 8/8 rc=0,共享根下只剩一个空的 runs/。同树并发同理被这一条覆盖。 - 单套:test/host/sha256 rc=0(13/13),产物确实落在 …\4b9166f602\runs\<pid>-…; 覆盖率 --module sha256 rc=0(line=111/114 func=7/7),落在 …\coverage\sha256。 - 全量:ci_local --l05-only → 33 runner(s),2276/2276 assertions passed,fail=0。 - 临时目录与 scratch 已清理(脚本在仓库外,不入库;ci-artifacts/ 之外无残留)。 文档:test/host/common/README.md 新增"产物目录归属"一节(落点结构、为什么按树、 为什么每次独占、两个开关、一行命令查当前树的产物根);harness 顶部注释是判据正文。 docs 侧两处按分工归 lead 在 done 时统一改,合并请求里已给可直接粘贴的替换文本: docs/测试说明/主机单测覆盖率口径.md 的产物目录条与"坑 12"、以及并行任务工作树 方案.md 的产物归属条。AGENTS.md 与 docs/** 本次一个字节没动。 RAM/Flash 增量:0 B(纯测试工具链,不进固件)。gate:见提交钩子输出,未用 --no-verify。 遗留:tools/font_gen/make_font.py 同样用固定共享名(%TEMP%\simsun_regular.ttf、 font_extra_<cp>.c)——同一类跨树竞态,但属道B 字体域,我没动,建议另开一张卡。
scripts/ — 开发脚本(提交门禁 + 报告生成)
本目录是 pre-commit 门禁脚本与报告生成脚本的存放处。 与
tools/(面向开发者的功能工具)区别:本目录服务于质量门禁与工程度量。
文件一览
提交门禁(接入 .pre-commit-config.yaml)
| 脚本 | 钩子名 | 作用 |
|---|---|---|
check_coding_standard.py |
C coding standard |
C 代码规范机械检查(命名前缀/常量右置/头文件保护宏等) |
check_mojibake.py |
Forbid U+FFFD mojibake |
扫描 U+FFFD 乱码(EF BF BD 字节) |
check_doc_links.py |
doc-links |
文档链接存在性 + 命名规范(D-3/D-7)+ §N.M 章节引用(口径见 docs/文档规范.md §3.5)。钩子已带 --sections-strict(自引用失效也拦);--section-todo 列出机器判不了目标的 §(带改写建议)。每次跑打印「可判定比例」行,防覆盖率回落 |
section_aliases.json |
(被 check_doc_links.py 读) |
文档昵称别名表:「内存方案」→ docs/内存管理/RAM使用分析与优化方案.md。只登记无歧义昵称;登记一次即把该昵称的引用纳入硬门禁 |
check_ids.py |
id-check |
编号门禁:docs/编号规范.md §8 的八项校验(未登记前缀 / 形态 / 悬空 / 重复定义 / 越游标 / 未紧邻文档名 / 孤儿 / 可判定比例)。已关闸为增量拦截:钩子带 --strict,只拦 scripts/id_known_backlog.json 台账之外的新错误级问题(存量按指纹豁免、台账只减不增);可判定比例跌破基线任何模式都失败。详表(含限制与盲区)→ docs/门禁说明/id-check.md |
id_registry.json |
(被 check_ids.py 读) |
前缀族注册表:属主登记处 / 形态正则 / 冻结 / 游标,逐项来自 docs/编号规范.md §4;decidable_ratio_baseline = 校验 8 的基线(只许涨)。与 section_aliases.json 同一套"别名表 + 可判定比例"范式 |
id_aliases.json |
(被 check_ids.py 读) |
编号别名/作废表:旧字面量 → 现行字面量或 status: void(如 N-32 销项后仍被引用、T-4 随销项永久作废、模块码 PHY→NET) |
check_test_traceability.py |
(被 id-check 顺带调用) |
TC 用例双向追溯:文档 ↔ 代码两侧的 TC 编号集合比对;2026-10-20 起范围扩到 test/host/ 与 7 篇「单元测试说明.md」(--board-only 回退旧板级口径)。此前该脚本未挂任何钩子 |
gen_task_table.py |
task-table |
FreeRTOS 任务表以 Src/freertos.c 为唯一事实源生成/校验(D-2/D-7) |
check_mem_numbers.py |
mem-numbers |
内存/Flash 数字以 .map 为唯一事实源校验(D-7 体积档) |
check_test_suite.py |
test-suite-switch |
测试套件开关=产品构建(防测试固件静默提交) |
报告生成(非门禁)
| 脚本 | 作用 |
|---|---|
ram_report.py |
从 .map 生成静态 RAM/Flash 占用报告(→ docs/内存管理/data/) |
stack_report.py |
从 Keil 静态调用图 + 串口 [STACK] 水位生成每任务最坏链报告 |
引用同步(改名 / 挪目录)
| 脚本 | 作用 |
|---|---|
rename_ids.py |
编号(字面量)批量改名:映射表 JSON 驱动,files 显式 scope(同一裸形字面量可能属多族,实测 S3 三义 → 全局替换必造新撞号);默认干跑,--apply 落盘并自动写 id_aliases.json 的 scoped 旧号→新号条目;[示例]/[计划] 行与变更记录表不改写;按原字节读写(保 BOM 与行尾)。用法与批次记录 → docs/编号规范.md §8.3 |
rename_ref.py |
改名/挪目录 + 全库引用自动改写:默认 dry-run 预览,--apply 才落盘(git mv → 改写引用 → 自动跑 check_doc_links --all 复核)。覆盖反引号引用、Markdown 链接、图片 ../ 层级换算、#include、uvprojx/CMakeLists.txt 源列表。固定动作与边界 → docs/文档规范.md §3.6 |
check_doc_links.py除链接存在性外,还校验§N.M章节引用是否指向目标文档真实存在的编号标题(口径见docs/文档规范.md§3.5)。
CI 与本地等价(2026-10-01 T-6)
| 脚本 / 文件 | 作用 |
|---|---|
ci_local.py |
本地跑与 CI 等价的门禁(L0 pre-commit + L0b 提交信息 + L0c 体积门禁 + L0.5 主机侧单测):自动选用装了 pre-commit 的解释器;无 .map 时自适应跳过 mem-numbers / mem-budget(⚠ 那是 SKIP 不是通过,缺口由 L0c 兜住);退出码 0/1/2 与 CI 对齐。CI 定义见 ../.gitea/workflows/ci.yml,覆盖边界见 docs/测试说明/测试开发标准流程.md §9 |
check_size_gate.py |
体积门禁的强制路径(A-5 残余):.map 只在本地有,钩子无它时自适应 SKIP,于是"没测=通过"。本脚本用已提交的同码凭证 scripts/size_attestation.json 把这条判据变成无需 Keil 也能跑:--stamp 只在".map 存在、比全部受管源码新、且未超 92%"时才盖章(已挂在 ram_baseline.py --update 里,无新增人工步骤);--local 供 ci_local 的 L0c 步;--ci 供 runner(同码性 + 按凭证数字复核红线,主干 push 拦红、其余事件 --warn-only);--show 排障。口径与边界的唯一正文在本脚本模块 docstring |
size_attestation.json |
(被 check_size_gate.py 读写)体积同码凭证:受管源码指纹(git ls-files 范围内逐文件 sha256 聚合)+ 测量数字与占比 + .map 出处。改固件源码后不重测 → 指纹对不上 → L0c 与 CI 同时拦红 |
check_test_coverage.py |
主机单测覆盖率(2026-10-23):mscoverage 动态插桩跑 test/host/** 全部 16 套,统计自研生产源码行/函数覆盖(并集)+ 与 test_coverage_baseline.json 比回退;--module/--update-baseline/--md/--json/--list;不在 pre-commit 里,入口是 ci_local.py --coverage(口径见 docs/测试说明/主机单测覆盖率口径.md) |
ci_gitlint_range.ps1 |
CI 侧提交信息门禁:逐条校验本次 push/PR 引入的提交(--all-files 跑不到 commit-msg stage,故必须单独守) |
ci_find_python.ps1 |
CI 侧 Python 探测(候选顺序须与 ci_local.py 同序同步,否则 CI 与本地判定会分叉) |
ci_runner_bootstrap.ps1 |
本机 runner 运维脚本(体检 -Status / 干跑 -DryRun / 部署 -SetEnv -StartNow):装"等 Gitea 就绪 + 崩溃自拉起"的看门狗 + 开机计划任务 + 机器级 DTU_* |
⚠️ 后三个脚本是本机 runner 专属运维(远程 CI 只跑在本机一台机器上),用法、原理与 踩坑全部集中在
docs/CI/README.md,本表只登记不展开。
使用方式
# 全库跑门禁(用仓库 .venv 的 python,其 pre-commit 随 requirements.txt 安装;
# 其他装有 pre-commit 的解释器可用 DTU_PRECOMMIT_PYTHON 指定)
& '.venv\Scripts\python.exe' -m pre_commit run --all-files
# 本地跑与 CI 等价的门禁(L0 + L0b + L0c + L0.5)
& '.venv\Scripts\python.exe' scripts/ci_local.py
& '.venv\Scripts\python.exe' scripts/ci_local.py --l0-only # 只跑 L0
& '.venv\Scripts\python.exe' scripts/ci_local.py --l05-only # 只跑 L0.5
& '.venv\Scripts\python.exe' scripts/ci_local.py --size-only # 只跑 L0c 体积门禁(A-5 强制路径)
& '.venv\Scripts\python.exe' scripts/check_size_gate.py --show # 体积同码凭证现状(0.3 s,无需 Keil)
& '.venv\Scripts\python.exe' scripts/check_size_gate.py --stamp # 用新鲜 .map 重新盖戳(--update 已自动带做)
# 单个脚本
& '.venv\Scripts\python.exe' scripts/check_doc_links.py --all
& '.venv\Scripts\python.exe' scripts/rename_ref.py docs/旧/名.md docs/新/名.md # 预览
& '.venv\Scripts\python.exe' scripts/rename_ref.py docs/旧/名.md docs/新/名.md --apply # 落盘
& '.venv\Scripts\python.exe' scripts/gen_task_table.py --check # 或 --write / --diff
& '.venv\Scripts\python.exe' scripts/check_mem_numbers.py --check
& '.venv\Scripts\python.exe' scripts/check_test_suite.py # 门禁判定
& '.venv\Scripts\python.exe' scripts/check_test_suite.py --allow-test-build # 放行测试构建
& '.venv\Scripts\python.exe' scripts/ram_report.py
& '.venv\Scripts\python.exe' scripts/stack_report.py -s .dsh\skills\serial-assistant\scripts\state\serial.log
⚠️ 脚本编写约定
- 保真回写:改文件前先探测原换行符(LF/CRLF)与 BOM,按原样回写(本仓库各文件换行混杂)
- 受管区锚点:改文档中的数值/表格时用
<!-- XXX:BEGIN/END -->锚点,只替换锚点内内容 - 脚本输出文件绝不能落在自身扫描范围内(否则会"自我污染",见
docs-tree-reorgskill) - 生成器与校验器共用同一套正则/口径,避免两处数字打架
相关文档
docs/代码规范/pre-commit使用说明.md— 门禁完整说明与排除项docs/代码规范/cppcheck使用说明.mddocs/文档规范.md— 文档门禁三档docs/内存管理/RAM使用分析与优化方案.md— RAM/栈报告口径