docs(roles): judge a rule by its inputs, not its wording
A rule can describe an action and still be unusable when the action's input has no source. That is what happened here: the acceptance-side rules were amended three times before the wording could be executed. Add rule one, item four: a checker must print the denominator, that is how many objects it was supposed to verify, and silence is not a pass. The rule carries both halves: - output side: list every object name together with its verdict, never a bare aggregate OK - checking side: write down the expected object list first, count how many distinct objects appear in the output, then reconcile the two The object list may only come from the task description or from the dispatcher. It must never be derived from the checker's own output, because a derived list always agrees with that output and the check can then never turn red. A report whose object list is absent or has no traceable origin is treated as coverage unverified, not as passed. Task description gains a fifth required item, the expected object list. A dispatcher who omits it has not defined the denominator, and the executor must ask instead of guessing. write_scopes and any list of files an executor happened to touch are action ranges, not object lists; the two sets may be entirely disjoint. Recorded with the measured contrast that motivated it: the same checker with the list taken from its own output passes both when one side is injected and when both are; with the list fixed by the task description it fails as soon as one object is missing. The reference case is a self-check script over two role files that was only ever fed a bad sample for one of them. It reported two failures instead of four and nobody noticed, because the count itself carries no information about how many objects were covered. Wording only where the subject changed; no rule bodies from the two earlier rounds were rewritten.
This commit is contained in:
@@ -177,6 +177,16 @@ IBM 原始数据显示:在审查阶段发现并修复一个缺陷的成本约
|
||||
2. **改动一个字节**(次便宜):把一个数改成明显错的,看计数判据红不红;或在 `#define` 后加个空格,看格式校验红不红。
|
||||
3. **从零构造反例**(最贵)。
|
||||
|
||||
**判据必须打印它验了哪些对象——沉默不是通过。** 造反例只管「样本坏在哪」,这一条管**「坏样本喂给了谁」**:
|
||||
|
||||
- **判据输出要逐项列出「对象名 + 判定」**,不能只吐一个汇总 OK。测一组同类对象(多个文件、多个条目、多个通道)时,输出必须让人一眼答出「查了几个、是哪些」。
|
||||
- **没说到的对象,既不算过也不算败,只能算「没验」**。把沉默读成通过,与判据本身写错同罪:后者至少有输出可查,前者连输出都没有。
|
||||
- 现场实例:一份自检脚本要验**两个**文件,造反例时只往其中一个注入坏样本,于是只红 2 项;两个都注入才红 4 项。**2 是「只验一半」的忠实写照,坏在没人知道分母是 4。**这 4 项 FAIL 分成两组、每组点名一个文件,但**「有 4 项红」这个数字本身不说明验了几个对象**——4 条断言可以只落在 1 个对象上。**要判断覆盖面,得去数输出里出现了几个不同的对象名,而不是数红了几条。**
|
||||
- **对象名印着,不等于有人数过**。事故实测:坏样本只喂给一个文件,另一份报告从头到尾**一个字都没出现**——报告把对象名逐行印得清清楚楚,照样没人发现少了谁。**光满足「逐项列出对象名」这条是不够的,必须有一个动作去比「出现几个」和「应验几个」。**
|
||||
- 拿到全绿(或部分红)的输出,**先列出应验对象的清单、再数输出里各自出现了几个**,两边对一遍。**数字对不上时先补对象,别急着解读判定。**
|
||||
- **清单来源:任务书 / 验方指派,不得从判据输出里反推。** 反推出来的清单永远与输出一致,这个核对必然恒真,结构上不可能红。**先问「这份清单谁给的」**:清单在任务书里逐条列着,核对才能测出 2 项 ≠ 4 项;清单是从输出里数出来的,永远对得上、等于没写。任务书里找不到清单就**先问派活的人**,问不到就写「覆盖率未验证」。
|
||||
- **别把「我扫了哪些文件」当清单**。那是**实际动作**,不是**应验范围**;两者恰好相等时问题最深——缺了哪个对象,两次读数长得完全一样。**报告里没有应验清单的,按「覆盖率未验证」处理,不按"全过"处理。**
|
||||
|
||||
**二、核对清单,不是核对直觉。** 把待审段落里出现的**每一个专名和每一个数字**抄出来,逐个查它存不存在、它等于几:
|
||||
|
||||
- 专名:符号名、寄存器名、字段名、宏名、函数名、章节号——**每一个都 grep 一次**。
|
||||
|
||||
@@ -55,6 +55,13 @@ onToolCallBudget: wrap-up
|
||||
3. **约束**:写域(能改哪些路径、不能碰哪些路径)、铁律(本项目绝对不做的事)、以及"这件事别人正在做"的冲突声明。
|
||||
4. **交付方式**:结论放在哪(任务板 / 消息 / 文件)、证据怎么给(贴原文还是附路径)、以及**不通过时怎么退回**。
|
||||
|
||||
**第五件(由「验收环节自己的失效模式」的反推死穴推出来):应验对象清单。**
|
||||
|
||||
派活的人必须在任务书里写明**本次要验哪些对象**——**不写清单的任务书,等于没定义分母**,执行人怎么验都对得上。清单按名字逐个列出;"该验的都要验"这类定量以外的说法不算清单。
|
||||
|
||||
- **执行人拿不到清单时先问,不许从判据的输出里反推**。反推出来的清单永远与输出一致,核对必然恒真——这条规则一旦这样执行就结构性地不可能红。执行人也**不能**拿 `write_scopes` 或"我扫了哪些文件"当清单:写域是**要改哪些文件**,应验对象是**判据要测哪些东西**,两个集合可以完全不相交;这两者恰好相等时问题最深——缺了哪个对象,两次读数长得完全一样。
|
||||
- **验收人拿到一份报告时的第一个动作不是读结论,是查清单在不在任务书里。** 任务书没逐条列出应验对象的,**一律退回补清单,不论报告结论如何**——判定权交给清单来源,不交给读者解读。**报告里没出现应验清单、或清单出处说不清(例如只有 `write_scopes` 那种"外形像清单、其实没有出处"的),按「覆盖率未验证」处理**,不按"全过"处理。
|
||||
|
||||
写验收口径时的自我检查:**把这条口径交给一个不熟悉背景的人,他能不能照着复跑出同样的红或绿?** 不能,说明它写的是感受不是口径。
|
||||
|
||||
**四要素之外,还有一条关于"参照值"的分寸**:任务书里可以给**预期**,但预期不是事实,写进去时要把它的身份标明白——
|
||||
@@ -127,6 +134,19 @@ onToolCallBudget: wrap-up
|
||||
⚠ **前提**:**历史样本本身得先确认可信、且错误已定位**。原始日志可以直接用;但若拿"上一轮被驳回的段落"当样本,**必须先说清那段错在哪一条/哪一列**,否则等于用一个"已知不合规但没定位清楚"的样本来验判据,验出来的是糊涂账。
|
||||
- **第 2 档(次便宜)**:**改动一个字节**。例如把某个数改成明显错的,看计数判据红不红;或在 `#define` 后加个空格,看格式校验红不红。
|
||||
- **第 3 档(最贵)**:从零构造反例。
|
||||
4. **判据必须打印它验了哪些对象,沉默不算通过。** 第 3 档「从零构造反例」管的是「样本坏在哪」(见上面第 1 档前提:**必须先说清那段错在哪一条/哪一列**),这一条管的是「坏样本到底喂给了谁」——两件事会各自出错,分开写。
|
||||
- **反面实测**(task-14 期间):一份自检脚本被测对象是**两个**角色文件,但造反例时只往其中一个注入坏样本。脚本对另一个文件**保持沉默**——它没报红,是因为它没被喂到坏输入,不是因为那个文件通过了。汇报写的是「2 项 FAIL」,两侧都注入才是「4 项 FAIL」。**2 精确等于「只验了一半」**:数字本身是诚实的,坏在**没人知道这个 2 的分母是 4**。
|
||||
- **可执行判据**:判据的输出要**逐项列出「对象名 + 判定」**,不能只吐一个汇总 OK。测一组同类对象(多个文件、多个条目、多个通道)时,输出必须让人一眼答出「查了几个、是哪些」——行列式输出天然满足,汇总式输出天然不满足。
|
||||
- **但「逐项列出对象名」这一条本身会放行事故**:实测脚本本来就逐行打印了对象名,照样漏掉一半——**印着不等于有人数过**。所以判据有两半,缺一不可:
|
||||
* **输出侧**:逐项列出对象名 + 判定(上面那条);
|
||||
* **核对侧**:**先列出应验对象的清单,再数输出里各自出现了几个不同的对象名,两边对一遍**。
|
||||
**清单来源:任务书 / 验方指派,不得从判据输出里反推。** 反推出来的清单永远与输出一致,这个核对必然恒真、结构上不可能红(见第七节「判据为什么不携带信息:恒等的三种形态」的**第二种形态「无人扰动也恒真」**,判别法是「问这个检查在『该发生的事没发生』时会不会红」——少验一个对象正是那件「该发生而没发生」的事)。
|
||||
任务书里找不到清单时,**先问派活的人,不许自行推定**;问不到就写「覆盖率未验证」,不许把推定结果当清单。
|
||||
为什么必须卡死来源:同一句核对,清单来源不同则一真一假。实测对照(同一份自检脚本,人为只喂一侧坏样本)——**清单从输出反推**时,应验 1 个 / 输出出现 1 个 → **PASS**;两侧都喂坏样本时,应验 2 个 / 出现 2 个 → **PASS**。**两次都 PASS,缺对象时也不会红。**换**清单取自任务书(固定 2 个)**:只喂一侧时 应验 2 个 / 出现 1 个 → **FAIL**(点名缺了哪一份);两侧都喂时 2/2 → PASS。**同一句核对,一个恒真、一个能红,差别全在清单从哪来。**
|
||||
- **数字不携带对象信息**:「有 4 项红」既可能是 4 条断言落在 1 个对象上,也可能是 2 个对象上——报告长得一模一样。**要判断覆盖面,数的是「出现了几个不同的对象名」,不是「红了几条」。**
|
||||
- **把「判据只被喂了一半」翻过来看,失效点不在样本,在核对本身**:清单若不是独立给定,而是**从判据输出里反推**出来的,两者永远相等——不是样本坏了,是**这个核对不可能失败**。所以光有"列印对象名"够不着它,必须卡清单来源。
|
||||
- **怎么用**:拿到一份全绿(或部分红)的输出,**先列出应验对象清单、再数输出里各自出现了几个**,两边对一遍。**这个数字对不上时,先补对象,别急着解读判定。**
|
||||
- 自查入口:`ci-artifacts/` 下即有一份判据在两个对象上输出不对称的实例(同一组注入,只喂一侧得 2 项 FAIL、两侧都喂得 4 项 FAIL,且每个对象单独成行、跑这个脚本就能看到分量)。**别只在脑子里验,重跑一次看输出列表的长度。**
|
||||
|
||||
**二、把待审段落里的每个专名和每个数字抄出来,逐个查。**
|
||||
|
||||
|
||||
Reference in New Issue
Block a user