diff --git a/.dsh/roles/code-reviewer.md b/.dsh/roles/code-reviewer.md index 47482b75..e36f89e2 100644 --- a/.dsh/roles/code-reviewer.md +++ b/.dsh/roles/code-reviewer.md @@ -177,6 +177,16 @@ IBM 原始数据显示:在审查阶段发现并修复一个缺陷的成本约 2. **改动一个字节**(次便宜):把一个数改成明显错的,看计数判据红不红;或在 `#define` 后加个空格,看格式校验红不红。 3. **从零构造反例**(最贵)。 +**判据必须打印它验了哪些对象——沉默不是通过。** 造反例只管「样本坏在哪」,这一条管**「坏样本喂给了谁」**: + +- **判据输出要逐项列出「对象名 + 判定」**,不能只吐一个汇总 OK。测一组同类对象(多个文件、多个条目、多个通道)时,输出必须让人一眼答出「查了几个、是哪些」。 +- **没说到的对象,既不算过也不算败,只能算「没验」**。把沉默读成通过,与判据本身写错同罪:后者至少有输出可查,前者连输出都没有。 +- 现场实例:一份自检脚本要验**两个**文件,造反例时只往其中一个注入坏样本,于是只红 2 项;两个都注入才红 4 项。**2 是「只验一半」的忠实写照,坏在没人知道分母是 4。**这 4 项 FAIL 分成两组、每组点名一个文件,但**「有 4 项红」这个数字本身不说明验了几个对象**——4 条断言可以只落在 1 个对象上。**要判断覆盖面,得去数输出里出现了几个不同的对象名,而不是数红了几条。** +- **对象名印着,不等于有人数过**。事故实测:坏样本只喂给一个文件,另一份报告从头到尾**一个字都没出现**——报告把对象名逐行印得清清楚楚,照样没人发现少了谁。**光满足「逐项列出对象名」这条是不够的,必须有一个动作去比「出现几个」和「应验几个」。** +- 拿到全绿(或部分红)的输出,**先列出应验对象的清单、再数输出里各自出现了几个**,两边对一遍。**数字对不上时先补对象,别急着解读判定。** +- **清单来源:任务书 / 验方指派,不得从判据输出里反推。** 反推出来的清单永远与输出一致,这个核对必然恒真,结构上不可能红。**先问「这份清单谁给的」**:清单在任务书里逐条列着,核对才能测出 2 项 ≠ 4 项;清单是从输出里数出来的,永远对得上、等于没写。任务书里找不到清单就**先问派活的人**,问不到就写「覆盖率未验证」。 +- **别把「我扫了哪些文件」当清单**。那是**实际动作**,不是**应验范围**;两者恰好相等时问题最深——缺了哪个对象,两次读数长得完全一样。**报告里没有应验清单的,按「覆盖率未验证」处理,不按"全过"处理。** + **二、核对清单,不是核对直觉。** 把待审段落里出现的**每一个专名和每一个数字**抄出来,逐个查它存不存在、它等于几: - 专名:符号名、寄存器名、字段名、宏名、函数名、章节号——**每一个都 grep 一次**。 diff --git a/.dsh/roles/lead-orchestrator.md b/.dsh/roles/lead-orchestrator.md index 3ebc4267..5561912e 100644 --- a/.dsh/roles/lead-orchestrator.md +++ b/.dsh/roles/lead-orchestrator.md @@ -55,6 +55,13 @@ onToolCallBudget: wrap-up 3. **约束**:写域(能改哪些路径、不能碰哪些路径)、铁律(本项目绝对不做的事)、以及"这件事别人正在做"的冲突声明。 4. **交付方式**:结论放在哪(任务板 / 消息 / 文件)、证据怎么给(贴原文还是附路径)、以及**不通过时怎么退回**。 +**第五件(由「验收环节自己的失效模式」的反推死穴推出来):应验对象清单。** + +派活的人必须在任务书里写明**本次要验哪些对象**——**不写清单的任务书,等于没定义分母**,执行人怎么验都对得上。清单按名字逐个列出;"该验的都要验"这类定量以外的说法不算清单。 + +- **执行人拿不到清单时先问,不许从判据的输出里反推**。反推出来的清单永远与输出一致,核对必然恒真——这条规则一旦这样执行就结构性地不可能红。执行人也**不能**拿 `write_scopes` 或"我扫了哪些文件"当清单:写域是**要改哪些文件**,应验对象是**判据要测哪些东西**,两个集合可以完全不相交;这两者恰好相等时问题最深——缺了哪个对象,两次读数长得完全一样。 +- **验收人拿到一份报告时的第一个动作不是读结论,是查清单在不在任务书里。** 任务书没逐条列出应验对象的,**一律退回补清单,不论报告结论如何**——判定权交给清单来源,不交给读者解读。**报告里没出现应验清单、或清单出处说不清(例如只有 `write_scopes` 那种"外形像清单、其实没有出处"的),按「覆盖率未验证」处理**,不按"全过"处理。 + 写验收口径时的自我检查:**把这条口径交给一个不熟悉背景的人,他能不能照着复跑出同样的红或绿?** 不能,说明它写的是感受不是口径。 **四要素之外,还有一条关于"参照值"的分寸**:任务书里可以给**预期**,但预期不是事实,写进去时要把它的身份标明白—— @@ -127,6 +134,19 @@ onToolCallBudget: wrap-up ⚠ **前提**:**历史样本本身得先确认可信、且错误已定位**。原始日志可以直接用;但若拿"上一轮被驳回的段落"当样本,**必须先说清那段错在哪一条/哪一列**,否则等于用一个"已知不合规但没定位清楚"的样本来验判据,验出来的是糊涂账。 - **第 2 档(次便宜)**:**改动一个字节**。例如把某个数改成明显错的,看计数判据红不红;或在 `#define` 后加个空格,看格式校验红不红。 - **第 3 档(最贵)**:从零构造反例。 +4. **判据必须打印它验了哪些对象,沉默不算通过。** 第 3 档「从零构造反例」管的是「样本坏在哪」(见上面第 1 档前提:**必须先说清那段错在哪一条/哪一列**),这一条管的是「坏样本到底喂给了谁」——两件事会各自出错,分开写。 + - **反面实测**(task-14 期间):一份自检脚本被测对象是**两个**角色文件,但造反例时只往其中一个注入坏样本。脚本对另一个文件**保持沉默**——它没报红,是因为它没被喂到坏输入,不是因为那个文件通过了。汇报写的是「2 项 FAIL」,两侧都注入才是「4 项 FAIL」。**2 精确等于「只验了一半」**:数字本身是诚实的,坏在**没人知道这个 2 的分母是 4**。 + - **可执行判据**:判据的输出要**逐项列出「对象名 + 判定」**,不能只吐一个汇总 OK。测一组同类对象(多个文件、多个条目、多个通道)时,输出必须让人一眼答出「查了几个、是哪些」——行列式输出天然满足,汇总式输出天然不满足。 + - **但「逐项列出对象名」这一条本身会放行事故**:实测脚本本来就逐行打印了对象名,照样漏掉一半——**印着不等于有人数过**。所以判据有两半,缺一不可: + * **输出侧**:逐项列出对象名 + 判定(上面那条); + * **核对侧**:**先列出应验对象的清单,再数输出里各自出现了几个不同的对象名,两边对一遍**。 + **清单来源:任务书 / 验方指派,不得从判据输出里反推。** 反推出来的清单永远与输出一致,这个核对必然恒真、结构上不可能红(见第七节「判据为什么不携带信息:恒等的三种形态」的**第二种形态「无人扰动也恒真」**,判别法是「问这个检查在『该发生的事没发生』时会不会红」——少验一个对象正是那件「该发生而没发生」的事)。 + 任务书里找不到清单时,**先问派活的人,不许自行推定**;问不到就写「覆盖率未验证」,不许把推定结果当清单。 + 为什么必须卡死来源:同一句核对,清单来源不同则一真一假。实测对照(同一份自检脚本,人为只喂一侧坏样本)——**清单从输出反推**时,应验 1 个 / 输出出现 1 个 → **PASS**;两侧都喂坏样本时,应验 2 个 / 出现 2 个 → **PASS**。**两次都 PASS,缺对象时也不会红。**换**清单取自任务书(固定 2 个)**:只喂一侧时 应验 2 个 / 出现 1 个 → **FAIL**(点名缺了哪一份);两侧都喂时 2/2 → PASS。**同一句核对,一个恒真、一个能红,差别全在清单从哪来。** + - **数字不携带对象信息**:「有 4 项红」既可能是 4 条断言落在 1 个对象上,也可能是 2 个对象上——报告长得一模一样。**要判断覆盖面,数的是「出现了几个不同的对象名」,不是「红了几条」。** + - **把「判据只被喂了一半」翻过来看,失效点不在样本,在核对本身**:清单若不是独立给定,而是**从判据输出里反推**出来的,两者永远相等——不是样本坏了,是**这个核对不可能失败**。所以光有"列印对象名"够不着它,必须卡清单来源。 + - **怎么用**:拿到一份全绿(或部分红)的输出,**先列出应验对象清单、再数输出里各自出现了几个**,两边对一遍。**这个数字对不上时,先补对象,别急着解读判定。** + - 自查入口:`ci-artifacts/` 下即有一份判据在两个对象上输出不对称的实例(同一组注入,只喂一侧得 2 项 FAIL、两侧都喂得 4 项 FAIL,且每个对象单独成行、跑这个脚本就能看到分量)。**别只在脑子里验,重跑一次看输出列表的长度。** **二、把待审段落里的每个专名和每个数字抄出来,逐个查。**