골든셋 50건 — 4개 도메인 재작성

1주차 10건은 2026-08-26 에 4개 도메인 기준으로 재작성을 마쳤다(w1-golden-set-10 참고). 이 티켓은 그 10건을 이어받아 50건까지 늘리는 작업이다 — 처음부터 다시 만들지 않는다.

도메인별 비율 (2026-08-26 확정)

균등(각 12~13건) 대신 F-2 적용 도메인에 더 배정했다 — 금융보험 18(F-2 9건: 상품해지·보상) · 쇼핑 16(F-2 7건: 반품·교환) · 다산콜센터 9 · 질병관리본부 7. 안내형 도메인(다산·질병관리본부)도 B/C/C-5만으로 도메인별 지표 계산에 충분한 표본(7~9건)을 확보했다. 상세: golden-set/README.md.

참고로 1주차 10건은 금융보험 4 · 쇼핑 3 · 다산콜센터 2 · 질병관리본부 1 로 갔다. 확정된 배분이 아니라 그때의 판단이므로, 50건 비율은 여기서 따로 정한다.

스펙 (5.3절)

한 건에 들어가야 하는 것 — 도메인, 고객 발화, 발화 종료 시각, 정답 문서 ID(FIN-TERM-3.2 형식 — 도메인 접두어 + 문서종류 + 조항), 오답 후보, 컴플라이언스 위반 삽입 여부, 개인정보 패턴(P1~P7) 삽입 여부, (해당 시) F-2 케이스.

주의

정답은 논리 위치(doc_id)로 라벨링한다. 청크 ID 로 적으면 4주차 청킹 3종 비교 때 라벨이 깨진다
F-2 케이스는 규정 작성자가 아닌 사람이 만든다. 같은 사람이 만들면 판정 정확도가 자기충족적 수치가 된다
50건은 잠정 베이스라인용이다. CI 에 박히는 공식 기준선은 3주차 150건이다

완료 조건

50건 작성 + 작성자와 다른 사람의 검수.

2026-08-26: 50건 작성 완료(golden-set/v1-50.json, 기존 10건 GS-001~010 포함). 모든 문서 ID를 knowledge-base/의 실제  주석과 대조해 검증(존재하지 않는 ID 참조 0건). ai/apps/evaluation/golden_set.py 로더로 실제 파싱 확인 완료(코드 변경 없음 — 도메인 필드는 이미 지원됨). 남은 것: F-2 케이스(16건, 금융보험·쇼핑) 교차검수 — 작성자(류준)가 아닌 사람이 확인해야 함. 즉시 개별 검수를 기다리지 않고 [4주차 말 전체 검수 절차 규칙이 없어졌다(_project/decisions/023) — 필요하면 그 자리에서 말로 맞춘다.

⚠ 2026-08-28 — 전제가 바뀌었다 (류준)

다산 단일 도메인 전환(_project/decisions/201)으로 50건 → 13건이 됐다. in-progress 로 그대로 두되, 완료 조건을 다산 기준으로 다시 써야 한다.

빠진 것: 금융보험·쇼핑·질병관리본부 항목 전부, F-2 케이스 전부(다산에 종결 유형이 없다)
더한 것: 실제 AI Hub 다산 발화 기반 GS-101·GS-102. GS-102(“대리 신청시 필요한 서류가 있나요”)가 새 메인 기능(B 필요서류 제시)의 대표 케이스다
⚠ P1~P7 커버리지를 다시 확인해야 한다 — “P1~P7 전부 커버”라는 이 티켓의 소득이 삭제된 37건에 실려 있었을 수 있다. 확인 전까지 커버리지를 주장하지 않는다
13건으로는 지표를 신뢰할 수 없다. 재확장 전까지 Recall@5·MRR 을 문서에 기록하지 않는다