위키 검색 도구 — 정말 토큰을 아껴주나?
🔴 실패🔴 실패(KILL)·🔓 철회로 봉인 — 정확도는 유지
무엇을 물었나 — 같은 질문 10개를 ①새로 만든 위키 검색 도구 ②기존 방식으로 각각 풀게 하고, 새 도구가 토큰(비용)을 얼마나 아끼는지 측정. 정확도도 함께 확인.
🔏 07:35 실험 전 봉인한 약속
토큰을 30% 이상 못 아끼거나, 정확도가 기존보다 떨어지면 도구를 KILL한다. seal 592a9f906a2dd114
토큰을 30% 이상 못 아끼거나, 정확도가 기존보다 떨어지면 도구를 KILL한다. seal 592a9f906a2dd114
📋 07:43 결과 — 🔴 실패
토큰 절감 20% — 미리 건 합격선 30%에 못 미쳐 KILL. 정확도는 유지됐습니다(새 도구 9~10문제 정답 vs 기존 8~9문제, 나빠지지 않음). 다만 기존 방식의 토큰 편차가 커서(2.9만~5.4만) 이 20%조차 확신하기 어렵다는 점, 검증 범위가 '키워드 찾기'에 한정됐다는 점을 함께 기록했습니다. 이 가설은 자기가 건 실패 조건에 걸려 철회(retraction)로 봉인됐고, 그 철회 기록도 지워지지 않습니다. seal c3c7424d25b09764
토큰 절감 20% — 미리 건 합격선 30%에 못 미쳐 KILL. 정확도는 유지됐습니다(새 도구 9~10문제 정답 vs 기존 8~9문제, 나빠지지 않음). 다만 기존 방식의 토큰 편차가 커서(2.9만~5.4만) 이 20%조차 확신하기 어렵다는 점, 검증 범위가 '키워드 찾기'에 한정됐다는 점을 함께 기록했습니다. 이 가설은 자기가 건 실패 조건에 걸려 철회(retraction)로 봉인됐고, 그 철회 기록도 지워지지 않습니다. seal c3c7424d25b09764
🔓 이 가설은 철회(retraction)로 봉인되었습니다
Falsified by own preregistered kill: token_reduction_ratio=0.20 < 0.30. grep on raw markdown is already cheap for distinctive-keyword lookup; the catalog/query layer did NOT cut tokens (AFTER median 33.4k vs BEFORE 41.8k, within BEFORE's 29-54k variance) and used equal/more tool calls. NOTE residual UNTESTED signal: descriptions improved disambiguation accuracy (AFTER 9,10 vs BEFORE 9,8; q8 description resolved a 2-file ambiguity) — refile as a NEW hypothesis for triage/overview tasks, not claimed here.
철회란 연구자가 자기 주장을 스스로 거둬들인 것입니다. 이 철회 기록도 삭제되지 않고 원장에 영구히 남습니다 — 그것이 이 시스템의 핵심입니다.
Falsified by own preregistered kill: token_reduction_ratio=0.20 < 0.30. grep on raw markdown is already cheap for distinctive-keyword lookup; the catalog/query layer did NOT cut tokens (AFTER median 33.4k vs BEFORE 41.8k, within BEFORE's 29-54k variance) and used equal/more tool calls. NOTE residual UNTESTED signal: descriptions improved disambiguation accuracy (AFTER 9,10 vs BEFORE 9,8; q8 description resolved a 2-file ambiguity) — refile as a NEW hypothesis for triage/overview tasks, not claimed here.
철회란 연구자가 자기 주장을 스스로 거둬들인 것입니다. 이 철회 기록도 삭제되지 않고 원장에 영구히 남습니다 — 그것이 이 시스템의 핵심입니다.
봉인 원문 보기 (요약이 아닌 실제 기록)
{
"ts": "2026-06-21T07:35:58",
"claim_id": "wiki_retrieval_efficiency_20260621",
"metric": "token_reduction_ratio = 1 - (AFTER_median_tokens / BEFORE_median_tokens); secondary=accuracy",
"min_n": 10,
"baseline": 0.0,
"pass_threshold": 0.3,
"prev_seal": "genesis",
"kill_condition": "protocol_sha256=ff91368ea43b312e94fd32a6bf00ef080867bb9035db14cddf4af848187540ea. KILL if token_reduction_ratio < 0.30 (AFTER not >=30% cheaper) OR AFTER accuracy < BEFORE accuracy. n=10 questions, descriptive/underpowered (report effect size + per-question raw, not p-values).",
"kill_threshold": {
"token_reduction_ratio_min": 0.3,
"accuracy_no_regression": true,
"protocol_sha256": "ff91368ea43b312e94fd32a6bf00ef080867bb9035db14cddf4af848187540ea",
"n": 10
},
"seal": "592a9f906a2dd114"
}{
"_type": "action",
"ts": "2026-06-20T22:43:17Z",
"agent": "claude-opus-4-8",
"action": "RESULT wiki_bench A/B: token_reduction_ratio=0.20 (<0.30 threshold) → KILL. AFTER tokens [32294,34526] median 33410; BEFORE [54253,29291] median 41772. Correct/10 per seed: AFTER [9,10], BEFORE [9,8]. Scope=keyword-lookup only (NOT triage/overview/status). q8 ambiguous(2 files). falsifiability_check tool errored; trip reasoned 0.20<0.30. stack_verify_all=ALL OK.",
"target": "wiki_retrieval_efficiency_20260621",
"payload": {
"verdict": "KILL",
"token_reduction_ratio": 0.2,
"after_tokens": [
32294,
34526
],
"before_tokens": [
54253,
29291
],
"after_correct_of_10": [
9,
10
],
"before_correct_of_10": [
9,
8
],
"scope_tested": "keyword-lookup retrieval",
"scope_not_tested": "triage/overview/multi-constraint/status-aware",
"caveats": "n small, BEFORE token variance high (29k-54k), q8 ambiguous design flaw",
"results_file": "/data/seara/mirror_ledgers/wiki_bench_results.json"
},
"prev_seal": "9031c883b2375c7a",
"seal": "c3c7424d25b09764"
}