골든셋 다산 기준 재확장 — 13건 → 150건
무엇을
다산콜센터 단일 도메인 기준으로 골든셋을 150건까지 늘린다.
왜
도메인 축소(_project/decisions/201)로 50건이 13건으로 줄었다.
13건으로 낸 Recall@5·MRR 은 신뢰할 수 없다 — 1건이 7.7%p 를 움직인다.
3주차 150건 계획이 4개 도메인 배분을 전제로 짜여 있어 그대로는 쓸 수 없다.
어떻게
- 구비서류를 묻는 발화를 우선 뽑는다. AI Hub 다산에서 실측 174건(2.60%), 69종 서비스에 흩어져 있다 — 새 메인 기능(B)의 채점 대상이다
- 발화는 AI Hub 실제 전사에서 가져온다. 손으로 지어내면 문체 분포가 갈리고,
B-0 실험에서 확인한 전이 실패(
w1-domain-routing하단)를 반복하게 된다 - P1~P7 개인정보 패턴 커버리지를 처음부터 다시 확인한다 — 이전 커버리지는 삭제된 37건에 실려 있었을 수 있다
완료 조건
- 150건, 전부 다산. 문서 ID 는
knowledge-base/dasan/실제 조항을 참조한다 - 구비서류 케이스가 30건 이상
- P1~P7 이 각각 1건 이상 등장한다 (C-5 절대 규칙을 패턴별로 잴 수 있어야 한다)
cd ai && pytest통과 — 골든셋 구조 테스트가 새 규모에서도 초록불- Recall@5 · MRR 을 다산 기준으로 재측정하고 측정일·커밋·명령·표본 수와 함께 기록