Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
62 changes: 43 additions & 19 deletions catalog/README.md
Original file line number Diff line number Diff line change
Expand Up @@ -60,31 +60,55 @@
즉 판정자는 **주어진 문서에 없는 시그니처**를 알아보라는 요구를 받았고, 그 8건은 선언 우연(0.25)
**아래인 0.125** 를 냈다.

수리한 프로토콜(76줄)로 **같은 데이터·같은 정답·같은 바**로 다시 걸었다:
수리한 프로토콜(76줄)로 **같은 데이터·같은 정답·같은 바**로 다시 걸었다. 그리고 **같은 날 밤,
그 결과가 재현되는지도 쟀다** — 표의 마지막 줄이 그것이고, **그게 위 줄을 무너뜨린다.**

| 팔 | 프로토콜 | 정확도 | 문턱 0.652 |
|---|---|---|---|
| 봉인런(2026-08-18) | 71줄(잘림) | 0.558 | 🔴 |
| **대조**(같은 세션·판정자만 새로) | 71줄(잘림) | **0.500** | 🔴 |
| **수리**(같은 세션) | **76줄(완전)** | **0.673** | 🟢 |

짝비교 12 대 3 · 단측 부호검정 **p=0.0176**. 대조가 0.500 이라 **원 측정은 재현됐다**(|Δ|=0.058).
그리고 위 절이 진단의 출발점으로 삼은 `self-catch→fn-guard` 누출 10/24 중 **5건이 잘린 기록**이었고,
잘리지 않은 것만 보면 5/16 = 0.312(우연 0.25)로 **훨씬 약하다**.

**그래서 무엇이 바뀌고 무엇이 안 바뀌나.**
- 🔴 **바뀐 것**: 위 절의 KILL 을 *"도감 시그니처는 전달되지 않는다"* 로 읽을 수 없다. 완전한
프로토콜에서는 문턱을 넘는다. 두 축 진단을 **떠받치던 증거의 절반이 계기 결함**이었다.
- 🟢 **안 바뀐 것**: 봉인 KILL 자체는 선언대로 집행됐고 **철회하지 않는다**. 그리고 축 수리는
독립적으로 검증됐다 — 오류유형 6칸으로 다시 걸어 **0.600**(기저선 0.280·문턱 0.470·우연 0.167,
여유 6건). 새로 만든 세 칸은 실제로 선택되고, 누출은 0.227(우연 0.167)로 내려간다.
- ⚠️ **여전히 못 하는 말**: 수리 팔의 통과 여유는 **1건**인데 판정자 재뽑기 변동이 **3건**이다 —
뒷받침되는 것은 **차이**(+0.173, p=0.0176)이지 "정확도가 0.652 를 넘는다"는 절대 문장이 아니다.
그리고 이득의 +0.136 은 **텍스트가 안 바뀐 44건**에서 나와 커버리지로 설명되지 않는다(미분리).
6칸 팔은 축과 커버리지를 **동시에** 바꿨으므로 그 0.600 을 축 수리에만 귀속할 수 없다.
| 대조(판정자만 새로) | 71줄(잘림) | 0.500 | 🔴 |
| 수리 | **76줄(완전)** | 0.673 | 🟢 **여유 1건** |
| **수리 재현 5회**(판정자만 새로) | 76줄(완전) | **0.596 · 0.692 · 0.654 · 0.615 · 0.538 → 평균 0.619** | **🔴 재현 실패** |

## 🔴🔴🔴 정정의 정정 (같은 날 밤) — 그 통과는 재현되지 않았다

아무것도 안 바꾸고 **판정자만 다시 뽑아 5회** 돌린 결과다(어떤 회차도 버리지 않았다).

- 이 계기의 **뽑기 변동 sd = 0.0583 = 3.0건**, 2sd = **6.1건**.
- 원 수리 팔 `0.673` 은 여섯 뽑기(0.673·0.596·0.692·0.654·0.615·0.538) 중 **최댓값**이었고
통과 여유는 **1건**이었다. 여섯 번 중 제일 잘 나온 회차에서 한 건 차로 넘은 것이다.
- ⇒ **여유가 잡음보다 작은 통과는 통과가 아니다.** 이 아크의 통과 셋(여유 **1·3·6건**)은
**전부 2sd 안**이다. 잡음 밖인 것은 **대조의 실패(−8건) 하나뿐**이다.

### 앞 정정에서 우리가 틀리게 쓴 문장 (지우지 않고 표시한다)
- ~~"완전한 프로토콜에서는 문턱을 넘는다"~~ → **재현되지 않는다.**
- ~~"짝비교 12 대 3 · p=0.0176"을 커버리지 효과의 근거로 쓴 것~~ → 그 논거는 *"같은 세션이라
판정자 뽑기가 상쇄된다"* 에 기대고 있었는데 **그게 거짓이다.** 같은 세션은 **같은 뽑기가 아니고**
두 팔은 각각 새로 뽑았다. 짝 부호검정은 **문항 난이도만** 통제하지 런 수준 뽑기는 못 잡는다.
모든 뽑기로 재계산하면 커버리지 효과는 **+0.099(약 5건) · t≈2.09** — **방향은 유지, 크기는 절반,
유의성은 경계**다.
- ~~"축 수리는 독립적으로 검증됐다(6칸 0.600 · 여유 6건)"~~ → 6건 < 2sd 6.1건이라 **그것도 잡음 안**이다.

### 그래도 서는 것 — 문턱이 아니라 기제
잘린 8건은 **두 번의 잘린 뽑기 모두에서 1/8 = 0.125**(선언 우연 0.25 **미만** · 두 번 다 동일)였고,
시그니처를 채우면 **4/8** 이다. **특정 기록·특정 원인**이라 뽑기 잡음으로 설명되지 않는다.
**이 절이 실제로 딛고 선 것은 이것이고, 이것뿐이다.**

- 🔴 **바뀐 것**: 위 두 축 절의 KILL 을 *"도감 시그니처는 전달되지 않는다"* 로 읽을 수 없다 —
판정자에게 **답의 15%가 없었다**. 그 진단을 떠받치던 누출 10/24 중 **5건이 잘린 기록**이었고,
잘리지 않은 것만 보면 5/16(우연 0.25)로 훨씬 약하다.
- 🟢 **안 바뀐 것**: 봉인 KILL 자체는 선언대로 집행됐고 **철회하지 않는다.**
- ⚠️ **이제 못 하는 말**: "수리하니 문턱을 넘었다" 계열 **전부**. 그리고 **n=52 인 이 설계는
6건 미만의 차이를 못 가른다** — 우리가 물은 질문들에 검정력이 모자랐다. 이 sd 자체도 5뽑기라
더 넓은 산포를 아직 못 봤을 수 있다.

봉인: 결함 기록 `dfccb26a…` · 수리 팔 `7c51d936…`→`c4b4ce03…` · 6칸 팔 `72e5a492…`→`9fa87937…` ·
대조 `adf6a7f6…`→`e09d1f8c…`. 앵커 10/10 · `stack_verify_all` ALL OK 17/17.
대조 `adf6a7f6…`→`e09d1f8c…` · **재현 `cf8fedb2…`→`76e2f5de…`**. 앵커 10/10 ·
`stack_verify_all` ALL OK 17/17 — ⚠️단 그 17/17 은 `stack.json` 에 **이름이 선언된 원장 4개**
(`compute_governor` · `yeoul_gate_observation` · `seara` · `provenance`)만 덮는다. 같은 디렉토리에
`.jsonl` 이 **82개** 있고, 그중 **78개가 선언 밖**이며 거기 **판정 993건**(전체 판정의 **27.7%**)이
산다. `stack.json` 은 2026-08-06 이후 안 바뀌었으므로 **그 뒤 생긴 원장은 구조적으로 전부 검증 밖**이다.
"ALL OK" 를 전체 커버리지로 읽지 말 것 — 그것은 *"선언된 것만 성했다"* 는 뜻이다.
표본: [self-catch/silent-cap-truncates-the-stimulus](self-catch/silent-cap-truncates-the-stimulus.md).

## 항목 스키마 (1항목 = 1파일)
Expand Down
18 changes: 13 additions & 5 deletions catalog/self-catch/silent-cap-truncates-the-stimulus.md
Original file line number Diff line number Diff line change
Expand Up @@ -25,11 +25,19 @@
사후 분해(봉인 데이터·재채점 아님): 시그니처 **있는 44건 0.636 / 없는 8건 0.125**(선언 우연 0.25 **미만**).
그리고 두 축 진단의 근거였던 `self-catch→fn-guard` 누출 10/24 중 **5건이 잘린 기록**이었다.
수리 후 재측정(팔 A, 봉인 `7c51d936…` → 결과 `c4b4ce03…`): 같은 데이터·같은 정답·같은 바에서
**0.558 → 0.673**(문턱 0.652). 같은 세션 대조(잘린 프로토콜·판정자만 새로 뽑음, 봉인 `adf6a7f6…`)
는 **0.500** 이라 원 측정이 재현됐고, 짝비교 12 대 3 · 단측 부호검정 **p=0.0176**.
★ 정직 유보: 팔 A 의 통과 여유는 **1건**인데 같은 프로토콜의 판정자 재뽑기 변동은 **3건**이었다 —
통과 자체는 잡음 안이고, 뒷받침되는 것은 **차이**지 절대 통과가 아니다. 또 이득의 +0.136 은
**텍스트가 안 바뀐 44건**에서 나와 커버리지로 설명되지 않는다(미분리).
**0.558 → 0.673**(문턱 0.652, **여유 1건**). 같은 세션 대조(잘린 프로토콜·판정자만 새로, 봉인
`adf6a7f6…`)는 **0.500**.
🔴 **그런데 그 통과는 재현되지 않았다**(같은 날 밤·봉인 `cf8fedb2…` → 결과 `76e2f5de…`):
아무것도 안 바꾸고 판정자만 새로 뽑아 5회 돌리니 **0.596·0.692·0.654·0.615·0.538 → 평균 0.619**
(문턱 미달). 이 계기의 **뽑기 변동 sd = 3.0건**, 2sd = **6.1건**이고, 원 `0.673` 은 여섯 뽑기 중
**최댓값**이었다. ⇒ **여유(1건) < 잡음(6.1건)이라 그 통과는 통과가 아니다.**
★ 그리고 처음 이 항목이 적었던 *"짝비교 12 대 3 · p=0.0176"* 논거도 **틀렸다** — 그건
*"같은 세션이라 판정자 뽑기가 상쇄된다"* 에 기댔는데 **같은 세션은 같은 뽑기가 아니다**(짝 검정은
문항 난이도만 통제한다). 모든 뽑기로 재계산한 커버리지 효과는 **+0.099(약 5건)·t≈2.09** —
방향 유지·크기 절반·유의성 경계.
★★ **그래서 이 표본이 실제로 딛고 선 것은 문턱이 아니라 기제다**: 잘린 8건이 **두 번의 잘린
뽑기 모두에서 1/8 = 0.125**(우연 0.25 미만·두 번 다 동일), 채우면 **4/8**. 특정 기록·특정 원인이라
뽑기 잡음으로 설명되지 않는다. 문턱을 넘었다는 문장은 **이 표본의 근거가 아니다.**
- **탐지법**: ①**커버리지 감사** — 데이터셋 각 항목의 정답 근거가 자극 파일 안에 **실제로** 있는지
기계로 대조한다(문자열 일치·표본↔불릿 위치 대응). 사람이 "다 넣었다"고 믿는 자리가 여기다.
②**선언 수치를 파일에서 세어 생성한다** — 봉인문에 손으로 적은 개수는 검사 대상이지 근거가 아니다.
Expand Down
Loading