Skip to content
Merged
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
5 changes: 3 additions & 2 deletions catalog/gaming/crippled_baseline.md
Original file line number Diff line number Diff line change
Expand Up @@ -9,5 +9,6 @@
- **실사례3(불완전 baseline=거짓 방어양성)**: (같은 세포 화학 아크의 잔차 후속) 실사례2의 잔차 후속. 크리살리스 o19가 clean 앵커 κ_MD=0.339(prior 0.372=integrator 무결정 wobble 부풀림·교정) vs 값싼 접촉모델(o16·o-BRD ~0.30) paired 잔차 +0.031(n24 CI[0.009,0.054] 유의) = '아크 최초 작은 방어된 양성'으로 잠정 봉인. 그러나 o20이 기제를 국소화=**힘 사전정렬**(접촉쌍 코드상보 0.54 vs 중립껍질 0.03·strain게이트 inert), o21이 그 사전정렬을 값싼 모델에 **코드-gated 접촉**(g leak-매칭·반응 무차별)으로 부여하니 fresh paired 잔차 **−0.005 CI[−0.031,+0.024]=완전 닫힘**. ⇒ '방어된 양성'은 테스트한 값싼 baseline이 **기제(사전정렬)를 누락**한 탓 = 거짓 잔차. seal: mm river_engine_ignition.jsonl o19 prereg b87dd6eb→retract a91a44df·o21 prereg dd59da6a→am 462ce3f0(2026-07-11). ★변주=baseline이 '약화(rigged)'가 아니라 **'불완전(기제 무지로 누락)'** — 값싼 모델이 못 잡아도 기제 규명→그 기제 부여하면 닫힐 수 있으니 '방어된 양성'은 **테스트한 모델 집합의 완전성**에 조건부. ★추가교훈: 주변부 CI 겹침≠dissolve(paired 민감검정 필수)·봉인 앵커도 엔진 무결정이면 wobble.
- **실사례4(★동일예산인데도 대조팔만 불구 = 파일럿이 효과를 부풀림)**: FM×CDE 후속 실 형태발생 무대(2026-07-30, prereg `ac79717e`→am `712f8c8a`). 구조 = 동결코어(처치=훈련 / 대조=랜덤) + **양팔이 공유하는 학습가능 어댑터**. 축소예산 스모크(EP_ADAPT=30)서 전이 gap ≈ +0.18, 5종 중 4종 성립 → PASS로 보였다. 풀예산(EP_ADAPT=1200)서 **gap ≈ +0.05로 붕괴, 2/5 = KILL**. 기전 = **어댑터가 랜덤코어를 구제하는 데에 예산이 필요**했다(랜덤팔 Δcos 0.006→0.10~0.14, 처치팔은 0.18→0.17로 거의 불변). ⇒ **양팔에 예산을 똑같이 줬는데도** 저예산 구간에선 *대조팔만* 실질적으로 불구가 된다 — 대조팔이 공유 학습부품에 **더 크게 의존**하기 때문. 같은 런에서 반대 방향 반전도 동시 발생(시간정보 교란 게이트: 스모크 0.962·0.965=생존 → 풀 0.399·0.514=붕괴, 코어가 시간구조를 아직 못 배웠던 탓). ★변주=**약화 의도도 없고 예산도 동일한데** 파일럿 예산 자체가 대조팔을 깎아 거짓양성을 만든다.
- **실사례5(★★그 처방을 실제로 집행했더니 아크의 헤드라인 효과가 죽었다)**: 같은 FM×CDE 아크, 하루 뒤(2026-07-31, prereg `99e4650c`→am `47e7a708`). 실사례4가 남긴 처방("**팔별 예산-반응 곡선을 찍어라**")을 이번엔 실제로 집행했다 — 어댑터 예산을 **양팔에 동등하게** 1200→3600→10800으로 올렸다. 결과: 동결코어 전이 gap이 **+0.0630 → +0.0126 → +0.0036**, ratio **0.057**(부트스트랩 95%CI [0.041,0.073]) — **11개 타깃 전부**가 10~20배로 붕괴. 같은 런의 구조제거 대조도 같은 방향: 훈련코어의 **가중치를 텐서 안에서 섞어도** ratio 0.820, **랜덤코어에 스칼라 1개**만 곱해 노름을 맞추면 ratio 0.919 = 학습된 구조 없이도 이득이 거의 그대로 난다. 기제는 진단량에 드러나 있었다 — 훈련코어 출력 노름 **67.43 vs 랜덤 1.685(약 40배)**, 그리고 어댑터(fullWin)는 입력쪽 Win만 있어 **스칼라 이득을 원리적으로 흡수할 수 있는데 1200에폭 안에 못 따라잡았다**. ⇒ 3주간 "동결 場엔진의 종간 전이"로 서술해 온 효과는 **불균등 최적화 인공물**이었다. ★교훈 두 가지: ①처방을 적어두는 것과 집행하는 것은 다르다 — 실사례4에서 이미 정확히 진단해 놓고 하루를 더 그 위에 쌓았다. ②**예산 특혜는 총량으로 세라**: 처치팔은 코어훈련 2000에폭을 받고 대조팔은 0을 받은 채 같은 어댑터 예산에서 비교되고 있었다. ⚠️단 무엇이 죽고 무엇이 사는지는 정확히 구분해야 한다 — **어댑터 없이(ad=None) 재는 앵커(+0.2517)와 Option A는 무관하며 그대로 유효하다.** 코어는 자기 종의 동역학을 실제로 배웠다. 죽은 것은 "그 학습이 종간 gap을 만들었다"는 귀속이다.
- **탐지법**: ③ mm_baseline_fairness — 동일 예산/데이터/적분기 강제. ★**동일예산으로 부족**한 경우 판별(실사례4): 양팔이 공유하는 학습부품이 있으면 **팔별 예산-반응 곡선**을 찍어라 — 대조팔 성능이 예산에 따라 아직 오르는 중이면 그 구간의 gap은 부풀려진 값이다. 파일럿 예산의 판정 방향으로 본런을 취소하지 말 것(파일럿=도달가능성 전용). self-catch ⑦로 "너무 압도적"을 먼저 의심하고 baseline 설정을 감사. ★잔차/우위가 남으면 **기제를 국소화**해 baseline이 그 기제를 빠뜨렸는지 확인(불완전 baseline 잔차 착시).
- **오적용 주의**: baseline이 단순하다는 것 자체는 약화가 아니다. 태스크 관행상 표준 baseline이고 동일 예산을 받았다면 정당하다. "약화"는 제안 모델과 비교해 부당하게 불리한 조건을 준 경우로 한정. ⚠️**단 "동일 예산=정당"은 조건부다**(실사례4가 이 절을 교정): 양팔이 **공유 학습부품**에 다르게 의존하면 동일예산도 저예산 구간에서 대조팔만 깎는다. 이때 라벨은 "부정한 약화"가 아니라 **"예산 미포화"** — 비난이 아니라 예산-반응 곡선으로 해결할 문제이고, 대조팔이 포화한 뒤에도 우위가 남으면 그 우위는 진짜다.
- **실사례6(★비교의 축이 되는 파라미터만 얼어붙음 · 팔의 지표는 멀쩡)**: (자생 개념흡수 아크 · 2026-08-18 · 출처 [너울/자생]) 처치팔 `composed`(합성 키) vs 대조팔 `atomic`(자유 임베딩 행). **스텝·데이터·옵티마이저 동일**. 그런데 키를 만드는 파라미터가 서로 **다른 lr 그룹**이었다 — atomic 키는 임베딩 행이라 `LR=1e-4`, composed 키는 composer 라 `COMP_LR=1e-3` 으로 **10배**. 학습 전후 회전각을 재니 **대조팔 atomic 키가 4.9°/3.9°**(노름 99.2%/100.2% · cos 0.9964/0.9977)로 초기 난수에 사실상 **얼어붙어 있었고**, 처치팔 composed 는 75.0°(노름 161.3% · cos 0.2595) 돌았다. 🔴**이 회전각·노름은 진단이지 효과크기가 아니다** — 처치팔 **n=1**(시드 61) · 대조팔 **n=2**(시드 61·62)로 잰 값이고 12시드 측정이 아니다. 결함이 **있다**는 것만 보인다. 효과크기는 아래 gap 수치(12·8시드)가 담당한다. ⇒ atomic 은 *"합성만 없는 팔"* 이 아니라 **개념 키가 무작위 초기값에 고정된 팔**이었고, 과제를 배운 것은 키가 아니라 **백본**이었다. 대조팔에 같은 키 학습률을 주자 합성이름 기둥 gap **+0.3633 → −0.0625**(직교항까지 맞춰도 −0.0586), 두 번째 기둥(실개념명)도 **+0.3281 → −0.0495** — 자유 임베딩 행이 각각 **4/8 · 7/12 시드에서 오히려 우세**. 이 결함 위에 **봉인 PASS 2건이 3주간** 서 있었다. seal: `c3_atomic_key_plasticity_repair_v1`(am `d8859f5f`) · `c4_matched_orth_final_comparison_v1`(am `d0f22973`) · `c5_realname_pillar_control_repair_v1`(am `82f0423c`) · 원 봉인 개정 `95f1bf26`. ★변주 = **예산도 스텝도 같고 팔의 과제 지표도 멀쩡한데**(alias 1.0 · g_direct 0.78~0.94 · f_direct 0.81~0.94) **비교의 축이 되는 파라미터만** 안 움직인다. 실사례4는 저예산 구간이 원인이었고, 이건 **파라미터 그룹 lr 비대칭**이 원인이다. ✅출처 등급: **이 항목의 수치는 전부 원장에서 대조했다.** 회전각·노름·cos 표 전체는 am `39be1bf8d36cda3e22b3ab9c1079d995b2fcc3c903c95b9f7e73b9a8ef48c9ee`(원장 `action_ledger.jsonl` · target `grown_spelled_composer_latent2hop_v1`)의 `payload.treatment_composed_lambda01` / `payload.control_atomic` / `payload.n_disclosure` 에 있고, gap 3건은 위 세 봉인의 payload 에 있다. ⚠️같은 값을 담은 옛 레코드 `25e59593…` 은 **claim 오귀속본**이며(그 레인이 자진신고·정정 `2cfaf25c…`) **출처로 쓰면 안 된다** — 위 `39be1bf8…` 이 올바른 claim 아래 재발행된 정본이다.
- **탐지법**: ③ mm_baseline_fairness — 동일 예산/데이터/적분기 강제. ★**동일예산으로 부족**한 경우 판별(실사례4): 양팔이 공유하는 학습부품이 있으면 **팔별 예산-반응 곡선**을 찍어라 — 대조팔 성능이 예산에 따라 아직 오르는 중이면 그 구간의 gap은 부풀려진 값이다. 파일럿 예산의 판정 방향으로 본런을 취소하지 말 것(파일럿=도달가능성 전용). self-catch ⑦로 "너무 압도적"을 먼저 의심하고 baseline 설정을 감사. ★잔차/우위가 남으면 **기제를 국소화**해 baseline이 그 기제를 빠뜨렸는지 확인(불완전 baseline 잔차 착시). ★**④ 회전각 검사(2026-08-18 규율 신설)**: 학습 **전후**로 `cos(초기,최종)` → `degrees(acos(cos))` 으로 **비교의 축이 되는 파라미터가 실제로 움직였는지 팔별로** 재라. **노름만으로는 부족하다** — 실사례6은 노름 99.2% 인데 회전 4.9° 였다(노름이 같아도 방향은 돌 수 있고 그 반대도 된다). 그리고 **팔의 과제 지표는 이 결함을 전혀 안 보여준다** — 성적표가 아니라 파라미터를 봐야 한다. 값싼 선행 점검: 두 팔의 비교 축 파라미터가 **같은 lr 그룹·같은 옵티마이저 설정**에 있는지 코드로 확인. ★**이 검사가 실제로 게이트로 작동한 근거는 n 이 크다** — 결함 자체의 진단은 n=1/n=2 였지만(위), 수리 여부를 가르는 게이트로는 **8시드·12시드**에서 돌았다: am `d8859f5f`(c3) `payload.gate1_manipulation` = `{rot_deg_min_seedmean: 29.4, threshold: 20, original_atomic: "4.9°/3.9°"}`(8시드) · am `82f0423c`(c5) = `{rot_deg_min: 28.8, rot_deg_max: 42.1, item_min: 20, original_atomic: "4.9°"}`(12시드). 즉 *"결함이 있었다"* 는 n=1/2 진단이고, *"회전각으로 재면 수리 여부가 갈린다"* 는 8·12시드 게이트다 — 이 절이 기대는 것은 후자다.
- **오적용 주의**: baseline이 단순하다는 것 자체는 약화가 아니다. 태스크 관행상 표준 baseline이고 동일 예산을 받았다면 정당하다. "약화"는 제안 모델과 비교해 부당하게 불리한 조건을 준 경우로 한정. ⚠️**단 "동일 예산=정당"은 조건부다**(실사례4가 이 절을 교정): 양팔이 **공유 학습부품**에 다르게 의존하면 동일예산도 저예산 구간에서 대조팔만 깎는다. 이때 라벨은 "부정한 약화"가 아니라 **"예산 미포화"** — 비난이 아니라 예산-반응 곡선으로 해결할 문제이고, 대조팔이 포화한 뒤에도 우위가 남으면 그 우위는 진짜다. ⚠️**회전각도 양방향이다**(실사례6이 이 절에 더하는 것): 회전이 작다고 전부 결함은 아니다 — 그 파라미터가 **원래 안 움직여도 되는 설계**(의도적 동결·정규화 목적·이미 수렴)면 정상이다. 이 검사가 잡는 것은 **"비교의 축이 처치팔에선 움직이고 대조팔에선 안 움직이는" 비대칭**이지 움직임 자체를 요구하는 게 아니다. 여기서도 결론은 같다 — **대조팔을 고쳐도 우위가 남으면 그 우위는 진짜다**.
Loading