diff --git a/catalog/README.md b/catalog/README.md index 69892c9..933da0d 100644 --- a/catalog/README.md +++ b/catalog/README.md @@ -60,31 +60,55 @@ 즉 판정자는 **주어진 문서에 없는 시그니처**를 알아보라는 요구를 받았고, 그 8건은 선언 우연(0.25) **아래인 0.125** 를 냈다. -수리한 프로토콜(76줄)로 **같은 데이터·같은 정답·같은 바**로 다시 걸었다: +수리한 프로토콜(76줄)로 **같은 데이터·같은 정답·같은 바**로 다시 걸었다. 그리고 **같은 날 밤, +그 결과가 재현되는지도 쟀다** — 표의 마지막 줄이 그것이고, **그게 위 줄을 무너뜨린다.** | 팔 | 프로토콜 | 정확도 | 문턱 0.652 | |---|---|---|---| | 봉인런(2026-08-18) | 71줄(잘림) | 0.558 | 🔴 | -| **대조**(같은 세션·판정자만 새로) | 71줄(잘림) | **0.500** | 🔴 | -| **수리**(같은 세션) | **76줄(완전)** | **0.673** | 🟢 | - -짝비교 12 대 3 · 단측 부호검정 **p=0.0176**. 대조가 0.500 이라 **원 측정은 재현됐다**(|Δ|=0.058). -그리고 위 절이 진단의 출발점으로 삼은 `self-catch→fn-guard` 누출 10/24 중 **5건이 잘린 기록**이었고, -잘리지 않은 것만 보면 5/16 = 0.312(우연 0.25)로 **훨씬 약하다**. - -**그래서 무엇이 바뀌고 무엇이 안 바뀌나.** -- 🔴 **바뀐 것**: 위 절의 KILL 을 *"도감 시그니처는 전달되지 않는다"* 로 읽을 수 없다. 완전한 - 프로토콜에서는 문턱을 넘는다. 두 축 진단을 **떠받치던 증거의 절반이 계기 결함**이었다. -- 🟢 **안 바뀐 것**: 봉인 KILL 자체는 선언대로 집행됐고 **철회하지 않는다**. 그리고 축 수리는 - 독립적으로 검증됐다 — 오류유형 6칸으로 다시 걸어 **0.600**(기저선 0.280·문턱 0.470·우연 0.167, - 여유 6건). 새로 만든 세 칸은 실제로 선택되고, 누출은 0.227(우연 0.167)로 내려간다. -- ⚠️ **여전히 못 하는 말**: 수리 팔의 통과 여유는 **1건**인데 판정자 재뽑기 변동이 **3건**이다 — - 뒷받침되는 것은 **차이**(+0.173, p=0.0176)이지 "정확도가 0.652 를 넘는다"는 절대 문장이 아니다. - 그리고 이득의 +0.136 은 **텍스트가 안 바뀐 44건**에서 나와 커버리지로 설명되지 않는다(미분리). - 6칸 팔은 축과 커버리지를 **동시에** 바꿨으므로 그 0.600 을 축 수리에만 귀속할 수 없다. +| 대조(판정자만 새로) | 71줄(잘림) | 0.500 | 🔴 | +| 수리 | **76줄(완전)** | 0.673 | 🟢 **여유 1건** | +| **수리 재현 5회**(판정자만 새로) | 76줄(완전) | **0.596 · 0.692 · 0.654 · 0.615 · 0.538 → 평균 0.619** | **🔴 재현 실패** | + +## 🔴🔴🔴 정정의 정정 (같은 날 밤) — 그 통과는 재현되지 않았다 + +아무것도 안 바꾸고 **판정자만 다시 뽑아 5회** 돌린 결과다(어떤 회차도 버리지 않았다). + +- 이 계기의 **뽑기 변동 sd = 0.0583 = 3.0건**, 2sd = **6.1건**. +- 원 수리 팔 `0.673` 은 여섯 뽑기(0.673·0.596·0.692·0.654·0.615·0.538) 중 **최댓값**이었고 + 통과 여유는 **1건**이었다. 여섯 번 중 제일 잘 나온 회차에서 한 건 차로 넘은 것이다. +- ⇒ **여유가 잡음보다 작은 통과는 통과가 아니다.** 이 아크의 통과 셋(여유 **1·3·6건**)은 + **전부 2sd 안**이다. 잡음 밖인 것은 **대조의 실패(−8건) 하나뿐**이다. + +### 앞 정정에서 우리가 틀리게 쓴 문장 (지우지 않고 표시한다) +- ~~"완전한 프로토콜에서는 문턱을 넘는다"~~ → **재현되지 않는다.** +- ~~"짝비교 12 대 3 · p=0.0176"을 커버리지 효과의 근거로 쓴 것~~ → 그 논거는 *"같은 세션이라 + 판정자 뽑기가 상쇄된다"* 에 기대고 있었는데 **그게 거짓이다.** 같은 세션은 **같은 뽑기가 아니고** + 두 팔은 각각 새로 뽑았다. 짝 부호검정은 **문항 난이도만** 통제하지 런 수준 뽑기는 못 잡는다. + 모든 뽑기로 재계산하면 커버리지 효과는 **+0.099(약 5건) · t≈2.09** — **방향은 유지, 크기는 절반, + 유의성은 경계**다. +- ~~"축 수리는 독립적으로 검증됐다(6칸 0.600 · 여유 6건)"~~ → 6건 < 2sd 6.1건이라 **그것도 잡음 안**이다. + +### 그래도 서는 것 — 문턱이 아니라 기제 +잘린 8건은 **두 번의 잘린 뽑기 모두에서 1/8 = 0.125**(선언 우연 0.25 **미만** · 두 번 다 동일)였고, +시그니처를 채우면 **4/8** 이다. **특정 기록·특정 원인**이라 뽑기 잡음으로 설명되지 않는다. +**이 절이 실제로 딛고 선 것은 이것이고, 이것뿐이다.** + +- 🔴 **바뀐 것**: 위 두 축 절의 KILL 을 *"도감 시그니처는 전달되지 않는다"* 로 읽을 수 없다 — + 판정자에게 **답의 15%가 없었다**. 그 진단을 떠받치던 누출 10/24 중 **5건이 잘린 기록**이었고, + 잘리지 않은 것만 보면 5/16(우연 0.25)로 훨씬 약하다. +- 🟢 **안 바뀐 것**: 봉인 KILL 자체는 선언대로 집행됐고 **철회하지 않는다.** +- ⚠️ **이제 못 하는 말**: "수리하니 문턱을 넘었다" 계열 **전부**. 그리고 **n=52 인 이 설계는 + 6건 미만의 차이를 못 가른다** — 우리가 물은 질문들에 검정력이 모자랐다. 이 sd 자체도 5뽑기라 + 더 넓은 산포를 아직 못 봤을 수 있다. 봉인: 결함 기록 `dfccb26a…` · 수리 팔 `7c51d936…`→`c4b4ce03…` · 6칸 팔 `72e5a492…`→`9fa87937…` · -대조 `adf6a7f6…`→`e09d1f8c…`. 앵커 10/10 · `stack_verify_all` ALL OK 17/17. +대조 `adf6a7f6…`→`e09d1f8c…` · **재현 `cf8fedb2…`→`76e2f5de…`**. 앵커 10/10 · +`stack_verify_all` ALL OK 17/17 — ⚠️단 그 17/17 은 `stack.json` 에 **이름이 선언된 원장 4개** +(`compute_governor` · `yeoul_gate_observation` · `seara` · `provenance`)만 덮는다. 같은 디렉토리에 +`.jsonl` 이 **82개** 있고, 그중 **78개가 선언 밖**이며 거기 **판정 993건**(전체 판정의 **27.7%**)이 +산다. `stack.json` 은 2026-08-06 이후 안 바뀌었으므로 **그 뒤 생긴 원장은 구조적으로 전부 검증 밖**이다. +"ALL OK" 를 전체 커버리지로 읽지 말 것 — 그것은 *"선언된 것만 성했다"* 는 뜻이다. 표본: [self-catch/silent-cap-truncates-the-stimulus](self-catch/silent-cap-truncates-the-stimulus.md). ## 항목 스키마 (1항목 = 1파일) diff --git a/catalog/self-catch/silent-cap-truncates-the-stimulus.md b/catalog/self-catch/silent-cap-truncates-the-stimulus.md index 1db3c1d..443e991 100644 --- a/catalog/self-catch/silent-cap-truncates-the-stimulus.md +++ b/catalog/self-catch/silent-cap-truncates-the-stimulus.md @@ -25,11 +25,19 @@ 사후 분해(봉인 데이터·재채점 아님): 시그니처 **있는 44건 0.636 / 없는 8건 0.125**(선언 우연 0.25 **미만**). 그리고 두 축 진단의 근거였던 `self-catch→fn-guard` 누출 10/24 중 **5건이 잘린 기록**이었다. 수리 후 재측정(팔 A, 봉인 `7c51d936…` → 결과 `c4b4ce03…`): 같은 데이터·같은 정답·같은 바에서 - **0.558 → 0.673**(문턱 0.652). 같은 세션 대조(잘린 프로토콜·판정자만 새로 뽑음, 봉인 `adf6a7f6…`) - 는 **0.500** 이라 원 측정이 재현됐고, 짝비교 12 대 3 · 단측 부호검정 **p=0.0176**. - ★ 정직 유보: 팔 A 의 통과 여유는 **1건**인데 같은 프로토콜의 판정자 재뽑기 변동은 **3건**이었다 — - 통과 자체는 잡음 안이고, 뒷받침되는 것은 **차이**지 절대 통과가 아니다. 또 이득의 +0.136 은 - **텍스트가 안 바뀐 44건**에서 나와 커버리지로 설명되지 않는다(미분리). + **0.558 → 0.673**(문턱 0.652, **여유 1건**). 같은 세션 대조(잘린 프로토콜·판정자만 새로, 봉인 + `adf6a7f6…`)는 **0.500**. + 🔴 **그런데 그 통과는 재현되지 않았다**(같은 날 밤·봉인 `cf8fedb2…` → 결과 `76e2f5de…`): + 아무것도 안 바꾸고 판정자만 새로 뽑아 5회 돌리니 **0.596·0.692·0.654·0.615·0.538 → 평균 0.619** + (문턱 미달). 이 계기의 **뽑기 변동 sd = 3.0건**, 2sd = **6.1건**이고, 원 `0.673` 은 여섯 뽑기 중 + **최댓값**이었다. ⇒ **여유(1건) < 잡음(6.1건)이라 그 통과는 통과가 아니다.** + ★ 그리고 처음 이 항목이 적었던 *"짝비교 12 대 3 · p=0.0176"* 논거도 **틀렸다** — 그건 + *"같은 세션이라 판정자 뽑기가 상쇄된다"* 에 기댔는데 **같은 세션은 같은 뽑기가 아니다**(짝 검정은 + 문항 난이도만 통제한다). 모든 뽑기로 재계산한 커버리지 효과는 **+0.099(약 5건)·t≈2.09** — + 방향 유지·크기 절반·유의성 경계. + ★★ **그래서 이 표본이 실제로 딛고 선 것은 문턱이 아니라 기제다**: 잘린 8건이 **두 번의 잘린 + 뽑기 모두에서 1/8 = 0.125**(우연 0.25 미만·두 번 다 동일), 채우면 **4/8**. 특정 기록·특정 원인이라 + 뽑기 잡음으로 설명되지 않는다. 문턱을 넘었다는 문장은 **이 표본의 근거가 아니다.** - **탐지법**: ①**커버리지 감사** — 데이터셋 각 항목의 정답 근거가 자극 파일 안에 **실제로** 있는지 기계로 대조한다(문자열 일치·표본↔불릿 위치 대응). 사람이 "다 넣었다"고 믿는 자리가 여기다. ②**선언 수치를 파일에서 세어 생성한다** — 봉인문에 손으로 적은 개수는 검사 대상이지 근거가 아니다.