-
Notifications
You must be signed in to change notification settings - Fork 2
Expand file tree
/
Copy pathcommit_tree.txt
More file actions
12 lines (12 loc) · 1.18 KB
/
commit_tree.txt
File metadata and controls
12 lines (12 loc) · 1.18 KB
1
2
3
4
5
6
7
8
9
10
11
12
20260410 1026 G1 공정 평가: BM25 구조적 편향 정량화 (편향=0.373, 공정 Recall@7=0.634)
- g1_fair_eval.py: 59 Type1 paraphrase + 12 Type2/3/4 = 71 queries, BM25 Structural Recall@7 측정
- 원본 1.000 → 패러프레이즈 0.627 (-0.373): token overlap 0.476→0.085, 22/59 실패 확인
- Type2/3/4 Recall@7=0.667 (0.038 overlap), 통합 공정 Recall@7=0.634 (71 queries)
20260409 1751 bm25-memory: G2-DOCS threshold fix + G1 recall 검증 완료
- BM25 threshold 0→3.0: 한국어 토큰 거짓양성 제거 + G2-DOCS 10/10 (100%) 확인
- G1 structural recall@7=1.000 (59/59 QA pairs): corpus 커버리지 100%, 구조적 검증 완료
20260409 2050 G1/G2 잔여 과제 완료: paraphrase eval 33쌍 + G2b-hooks BM25 추가
- G2-DOCS fairness: 1.000(keyword-identical)→0.700(paraphrase), G2b 외부파일 한계 명시
- G1 Type2/3/4 실측: strict recall@7=0.750 (type1=1.000 대비 -0.250 갭 확인)
- tokenizer v2: Korean 조사 분리 (BM25와→bm25, embedding의→embedding) — 한국어 쿼리 매칭 개선
- G2-DOCS 33쌍 paraphrase eval: 0.667 (통계적 신뢰도 향상) | G2b-hooks: ~/.claude/hooks/*.py BM25 검색 추가