From 30ca0b6ee6dbf264038b4f611d7e23790d6c850e Mon Sep 17 00:00:00 2001 From: Mother Seara Date: Tue, 18 Aug 2026 23:55:08 +0900 Subject: [PATCH 1/2] =?UTF-8?q?fix(catalog):=20=EC=A0=95=EC=A0=95=EC=9D=98?= =?UTF-8?q?=20=EC=A0=95=EC=A0=95=20=E2=80=94=20=EC=96=B4=EC=A0=9C=20?= =?UTF-8?q?=EB=82=B8=20=EA=B7=B8=20=ED=86=B5=EA=B3=BC=EB=8A=94=20=EC=9E=AC?= =?UTF-8?q?=ED=98=84=EB=90=98=EC=A7=80=20=EC=95=8A=EC=95=98=EB=8B=A4?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 오늘 낮 #55 로 "잘린 프로토콜을 수리하니 0.558 → 0.673 으로 문턱(0.652)을 넘었다"고 공개했다. 같은 날 밤 그 통과가 재현되는지 쟀고, **재현되지 않았다.** 아무것도 안 바꾸고 판정자만 새로 뽑아 5회: 0.596 · 0.692 · 0.654 · 0.615 · 0.538 → 평균 0.619 (문턱 0.652 미달) 어떤 회차도 버리지 않았다. 뽑기 변동 sd = 0.0583 = 3.0건, 2sd = 6.1건. 원 0.673 은 여섯 뽑기 중 **최댓값**이었고 통과 여유는 1건이었다. ⇒ 여유가 잡음보다 작은 통과는 통과가 아니다. 이 아크의 통과 셋(여유 1·3·6건)이 전부 2sd 안이고, 잡음 밖인 것은 대조의 실패(−8건) 하나뿐이다. 앞 정정에서 틀리게 쓴 문장도 지우지 않고 표시했다: · "완전한 프로토콜에서는 문턱을 넘는다" → 재현 안 됨 · "짝비교 12대3 · p=0.0176" 을 커버리지 근거로 쓴 것 → 그 논거는 "같은 세션이라 판정자 뽑기가 상쇄된다"에 기댔는데 그게 거짓이다. 같은 세션은 같은 뽑기가 아니고 짝 검정은 문항 난이도만 통제한다. 모든 뽑기로 재계산하면 +0.099(약 5건)·t≈2.09 — 방향 유지·크기 절반·유의성 경계. · "축 수리는 독립 검증됐다(6칸 0.600·여유 6건)" → 6 < 2sd 6.1 이라 그것도 잡음 안 그래도 서는 것은 문턱이 아니라 기제다: 잘린 8건이 두 번의 잘린 뽑기 모두에서 1/8 = 0.125(우연 0.25 미만·두 번 다 동일), 채우면 4/8. 특정 기록·특정 원인이라 뽑기 잡음으로 설명되지 않는다. 이 절과 표본이 실제로 딛고 선 것은 이것뿐이다. 봉인 KILL 자체는 여전히 철회하지 않는다(선언대로 집행됐다). n=52 인 이 설계는 6건 미만 차이를 못 가른다는 것도 적었다. stack_verify_all 배지에도 범위를 붙였다 — 그 17/17 은 stack.json 에 이름이 있는 원장 5개만 덮고, 같은 디렉토리에 범위 밖 판정 993건이 있다. 봉인: 재현 cf8fedb2 → 76e2f5de. tests 463/463. Co-Authored-By: Claude Opus 5 (1M context) --- catalog/README.md | 59 +++++++++++++------ .../silent-cap-truncates-the-stimulus.md | 18 ++++-- 2 files changed, 53 insertions(+), 24 deletions(-) diff --git a/catalog/README.md b/catalog/README.md index 69892c9..386de87 100644 --- a/catalog/README.md +++ b/catalog/README.md @@ -60,31 +60,52 @@ 즉 판정자는 **주어진 문서에 없는 시그니처**를 알아보라는 요구를 받았고, 그 8건은 선언 우연(0.25) **아래인 0.125** 를 냈다. -수리한 프로토콜(76줄)로 **같은 데이터·같은 정답·같은 바**로 다시 걸었다: +수리한 프로토콜(76줄)로 **같은 데이터·같은 정답·같은 바**로 다시 걸었다. 그리고 **같은 날 밤, +그 결과가 재현되는지도 쟀다** — 표의 마지막 줄이 그것이고, **그게 위 줄을 무너뜨린다.** | 팔 | 프로토콜 | 정확도 | 문턱 0.652 | |---|---|---|---| | 봉인런(2026-08-18) | 71줄(잘림) | 0.558 | 🔴 | -| **대조**(같은 세션·판정자만 새로) | 71줄(잘림) | **0.500** | 🔴 | -| **수리**(같은 세션) | **76줄(완전)** | **0.673** | 🟢 | - -짝비교 12 대 3 · 단측 부호검정 **p=0.0176**. 대조가 0.500 이라 **원 측정은 재현됐다**(|Δ|=0.058). -그리고 위 절이 진단의 출발점으로 삼은 `self-catch→fn-guard` 누출 10/24 중 **5건이 잘린 기록**이었고, -잘리지 않은 것만 보면 5/16 = 0.312(우연 0.25)로 **훨씬 약하다**. - -**그래서 무엇이 바뀌고 무엇이 안 바뀌나.** -- 🔴 **바뀐 것**: 위 절의 KILL 을 *"도감 시그니처는 전달되지 않는다"* 로 읽을 수 없다. 완전한 - 프로토콜에서는 문턱을 넘는다. 두 축 진단을 **떠받치던 증거의 절반이 계기 결함**이었다. -- 🟢 **안 바뀐 것**: 봉인 KILL 자체는 선언대로 집행됐고 **철회하지 않는다**. 그리고 축 수리는 - 독립적으로 검증됐다 — 오류유형 6칸으로 다시 걸어 **0.600**(기저선 0.280·문턱 0.470·우연 0.167, - 여유 6건). 새로 만든 세 칸은 실제로 선택되고, 누출은 0.227(우연 0.167)로 내려간다. -- ⚠️ **여전히 못 하는 말**: 수리 팔의 통과 여유는 **1건**인데 판정자 재뽑기 변동이 **3건**이다 — - 뒷받침되는 것은 **차이**(+0.173, p=0.0176)이지 "정확도가 0.652 를 넘는다"는 절대 문장이 아니다. - 그리고 이득의 +0.136 은 **텍스트가 안 바뀐 44건**에서 나와 커버리지로 설명되지 않는다(미분리). - 6칸 팔은 축과 커버리지를 **동시에** 바꿨으므로 그 0.600 을 축 수리에만 귀속할 수 없다. +| 대조(판정자만 새로) | 71줄(잘림) | 0.500 | 🔴 | +| 수리 | **76줄(완전)** | 0.673 | 🟢 **여유 1건** | +| **수리 재현 5회**(판정자만 새로) | 76줄(완전) | **0.596 · 0.692 · 0.654 · 0.615 · 0.538 → 평균 0.619** | **🔴 재현 실패** | + +## 🔴🔴🔴 정정의 정정 (같은 날 밤) — 그 통과는 재현되지 않았다 + +아무것도 안 바꾸고 **판정자만 다시 뽑아 5회** 돌린 결과다(어떤 회차도 버리지 않았다). + +- 이 계기의 **뽑기 변동 sd = 0.0583 = 3.0건**, 2sd = **6.1건**. +- 원 수리 팔 `0.673` 은 여섯 뽑기(0.673·0.596·0.692·0.654·0.615·0.538) 중 **최댓값**이었고 + 통과 여유는 **1건**이었다. 여섯 번 중 제일 잘 나온 회차에서 한 건 차로 넘은 것이다. +- ⇒ **여유가 잡음보다 작은 통과는 통과가 아니다.** 이 아크의 통과 셋(여유 **1·3·6건**)은 + **전부 2sd 안**이다. 잡음 밖인 것은 **대조의 실패(−8건) 하나뿐**이다. + +### 앞 정정에서 우리가 틀리게 쓴 문장 (지우지 않고 표시한다) +- ~~"완전한 프로토콜에서는 문턱을 넘는다"~~ → **재현되지 않는다.** +- ~~"짝비교 12 대 3 · p=0.0176"을 커버리지 효과의 근거로 쓴 것~~ → 그 논거는 *"같은 세션이라 + 판정자 뽑기가 상쇄된다"* 에 기대고 있었는데 **그게 거짓이다.** 같은 세션은 **같은 뽑기가 아니고** + 두 팔은 각각 새로 뽑았다. 짝 부호검정은 **문항 난이도만** 통제하지 런 수준 뽑기는 못 잡는다. + 모든 뽑기로 재계산하면 커버리지 효과는 **+0.099(약 5건) · t≈2.09** — **방향은 유지, 크기는 절반, + 유의성은 경계**다. +- ~~"축 수리는 독립적으로 검증됐다(6칸 0.600 · 여유 6건)"~~ → 6건 < 2sd 6.1건이라 **그것도 잡음 안**이다. + +### 그래도 서는 것 — 문턱이 아니라 기제 +잘린 8건은 **두 번의 잘린 뽑기 모두에서 1/8 = 0.125**(선언 우연 0.25 **미만** · 두 번 다 동일)였고, +시그니처를 채우면 **4/8** 이다. **특정 기록·특정 원인**이라 뽑기 잡음으로 설명되지 않는다. +**이 절이 실제로 딛고 선 것은 이것이고, 이것뿐이다.** + +- 🔴 **바뀐 것**: 위 두 축 절의 KILL 을 *"도감 시그니처는 전달되지 않는다"* 로 읽을 수 없다 — + 판정자에게 **답의 15%가 없었다**. 그 진단을 떠받치던 누출 10/24 중 **5건이 잘린 기록**이었고, + 잘리지 않은 것만 보면 5/16(우연 0.25)로 훨씬 약하다. +- 🟢 **안 바뀐 것**: 봉인 KILL 자체는 선언대로 집행됐고 **철회하지 않는다.** +- ⚠️ **이제 못 하는 말**: "수리하니 문턱을 넘었다" 계열 **전부**. 그리고 **n=52 인 이 설계는 + 6건 미만의 차이를 못 가른다** — 우리가 물은 질문들에 검정력이 모자랐다. 이 sd 자체도 5뽑기라 + 더 넓은 산포를 아직 못 봤을 수 있다. 봉인: 결함 기록 `dfccb26a…` · 수리 팔 `7c51d936…`→`c4b4ce03…` · 6칸 팔 `72e5a492…`→`9fa87937…` · -대조 `adf6a7f6…`→`e09d1f8c…`. 앵커 10/10 · `stack_verify_all` ALL OK 17/17. +대조 `adf6a7f6…`→`e09d1f8c…` · **재현 `cf8fedb2…`→`76e2f5de…`**. 앵커 10/10 · +`stack_verify_all` ALL OK 17/17 — ⚠️단 그 17/17 은 `stack.json` 에 **이름이 있는 원장 5개**만 덮는다 +(같은 디렉토리에 범위 밖 판정 993건이 있다). "ALL OK" 를 전체 커버리지로 읽지 말 것. 표본: [self-catch/silent-cap-truncates-the-stimulus](self-catch/silent-cap-truncates-the-stimulus.md). ## 항목 스키마 (1항목 = 1파일) diff --git a/catalog/self-catch/silent-cap-truncates-the-stimulus.md b/catalog/self-catch/silent-cap-truncates-the-stimulus.md index 1db3c1d..443e991 100644 --- a/catalog/self-catch/silent-cap-truncates-the-stimulus.md +++ b/catalog/self-catch/silent-cap-truncates-the-stimulus.md @@ -25,11 +25,19 @@ 사후 분해(봉인 데이터·재채점 아님): 시그니처 **있는 44건 0.636 / 없는 8건 0.125**(선언 우연 0.25 **미만**). 그리고 두 축 진단의 근거였던 `self-catch→fn-guard` 누출 10/24 중 **5건이 잘린 기록**이었다. 수리 후 재측정(팔 A, 봉인 `7c51d936…` → 결과 `c4b4ce03…`): 같은 데이터·같은 정답·같은 바에서 - **0.558 → 0.673**(문턱 0.652). 같은 세션 대조(잘린 프로토콜·판정자만 새로 뽑음, 봉인 `adf6a7f6…`) - 는 **0.500** 이라 원 측정이 재현됐고, 짝비교 12 대 3 · 단측 부호검정 **p=0.0176**. - ★ 정직 유보: 팔 A 의 통과 여유는 **1건**인데 같은 프로토콜의 판정자 재뽑기 변동은 **3건**이었다 — - 통과 자체는 잡음 안이고, 뒷받침되는 것은 **차이**지 절대 통과가 아니다. 또 이득의 +0.136 은 - **텍스트가 안 바뀐 44건**에서 나와 커버리지로 설명되지 않는다(미분리). + **0.558 → 0.673**(문턱 0.652, **여유 1건**). 같은 세션 대조(잘린 프로토콜·판정자만 새로, 봉인 + `adf6a7f6…`)는 **0.500**. + 🔴 **그런데 그 통과는 재현되지 않았다**(같은 날 밤·봉인 `cf8fedb2…` → 결과 `76e2f5de…`): + 아무것도 안 바꾸고 판정자만 새로 뽑아 5회 돌리니 **0.596·0.692·0.654·0.615·0.538 → 평균 0.619** + (문턱 미달). 이 계기의 **뽑기 변동 sd = 3.0건**, 2sd = **6.1건**이고, 원 `0.673` 은 여섯 뽑기 중 + **최댓값**이었다. ⇒ **여유(1건) < 잡음(6.1건)이라 그 통과는 통과가 아니다.** + ★ 그리고 처음 이 항목이 적었던 *"짝비교 12 대 3 · p=0.0176"* 논거도 **틀렸다** — 그건 + *"같은 세션이라 판정자 뽑기가 상쇄된다"* 에 기댔는데 **같은 세션은 같은 뽑기가 아니다**(짝 검정은 + 문항 난이도만 통제한다). 모든 뽑기로 재계산한 커버리지 효과는 **+0.099(약 5건)·t≈2.09** — + 방향 유지·크기 절반·유의성 경계. + ★★ **그래서 이 표본이 실제로 딛고 선 것은 문턱이 아니라 기제다**: 잘린 8건이 **두 번의 잘린 + 뽑기 모두에서 1/8 = 0.125**(우연 0.25 미만·두 번 다 동일), 채우면 **4/8**. 특정 기록·특정 원인이라 + 뽑기 잡음으로 설명되지 않는다. 문턱을 넘었다는 문장은 **이 표본의 근거가 아니다.** - **탐지법**: ①**커버리지 감사** — 데이터셋 각 항목의 정답 근거가 자극 파일 안에 **실제로** 있는지 기계로 대조한다(문자열 일치·표본↔불릿 위치 대응). 사람이 "다 넣었다"고 믿는 자리가 여기다. ②**선언 수치를 파일에서 세어 생성한다** — 봉인문에 손으로 적은 개수는 검사 대상이지 근거가 아니다. From dca0cd6170f88d0e5dfaf7b286de7d39e436086a Mon Sep 17 00:00:00 2001 From: Mother Seara Date: Wed, 19 Aug 2026 00:04:14 +0900 Subject: [PATCH 2/2] =?UTF-8?q?fix(catalog):=20=EB=B0=B0=EC=A7=80=20?= =?UTF-8?q?=EB=B2=94=EC=9C=84=20=EC=88=98=EC=B9=98=20=EC=A0=95=EC=A0=95=20?= =?UTF-8?q?=E2=80=94=20=EC=84=A0=EC=96=B8=20=EC=9B=90=EC=9E=A5=EC=9D=80=20?= =?UTF-8?q?5=EA=B0=9C=EA=B0=80=20=EC=95=84=EB=8B=88=EB=9D=BC=204=EA=B0=9C?= =?UTF-8?q?=EB=8B=A4?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 앞 커밋에서 "그 17/17 은 stack.json 에 이름이 있는 원장 5개만 덮는다"고 썼다. 4개다. compute_governor · yeoul_gate_observation · seara · provenance — 파일에서 세면 넷이고, 5는 내가 파일이 아니라 머리로 센 값이다. 오늘 이 레포에 정정으로 낸 병(선언한 수를 파일에서 안 셌다)을 그 정정문 안에서 또 밟았다. 같은 자리에 실측값을 마저 넣었다: 디렉토리 .jsonl 82개 선언 밖 78개 · 그중 판정이 사는 것 23개 · 판정 993건(전체의 27.7%) stack.json 최종수정 2026-08-06 → 그 뒤 생긴 원장은 구조적으로 전부 검증 밖 관측 시각과 함께 읽어야 하는 수치다. 감사 스크립트는 /data/seara/lanes/mirror/stack_scope_audit.py (레포 밖·아무것도 안 고치고 분모만 출력). 발견: [여울]이 독립으로 같은 것을 짚었고 [관제]가 실측으로 내 5를 4로 교정했다. tests 463/463. Co-Authored-By: Claude Opus 5 (1M context) --- catalog/README.md | 7 +++++-- 1 file changed, 5 insertions(+), 2 deletions(-) diff --git a/catalog/README.md b/catalog/README.md index 386de87..933da0d 100644 --- a/catalog/README.md +++ b/catalog/README.md @@ -104,8 +104,11 @@ 봉인: 결함 기록 `dfccb26a…` · 수리 팔 `7c51d936…`→`c4b4ce03…` · 6칸 팔 `72e5a492…`→`9fa87937…` · 대조 `adf6a7f6…`→`e09d1f8c…` · **재현 `cf8fedb2…`→`76e2f5de…`**. 앵커 10/10 · -`stack_verify_all` ALL OK 17/17 — ⚠️단 그 17/17 은 `stack.json` 에 **이름이 있는 원장 5개**만 덮는다 -(같은 디렉토리에 범위 밖 판정 993건이 있다). "ALL OK" 를 전체 커버리지로 읽지 말 것. +`stack_verify_all` ALL OK 17/17 — ⚠️단 그 17/17 은 `stack.json` 에 **이름이 선언된 원장 4개** +(`compute_governor` · `yeoul_gate_observation` · `seara` · `provenance`)만 덮는다. 같은 디렉토리에 +`.jsonl` 이 **82개** 있고, 그중 **78개가 선언 밖**이며 거기 **판정 993건**(전체 판정의 **27.7%**)이 +산다. `stack.json` 은 2026-08-06 이후 안 바뀌었으므로 **그 뒤 생긴 원장은 구조적으로 전부 검증 밖**이다. +"ALL OK" 를 전체 커버리지로 읽지 말 것 — 그것은 *"선언된 것만 성했다"* 는 뜻이다. 표본: [self-catch/silent-cap-truncates-the-stimulus](self-catch/silent-cap-truncates-the-stimulus.md). ## 항목 스키마 (1항목 = 1파일)