10. 차별화 포인트
⚠ 2026-08-28 방향 전환 — 이 페이지보다 결정 기록이 우선한다
도메인을 다산콜센터 하나로 줄이고 외국인 고객 지원을 차별점으로 세웠다
(_project/decisions/201, 비공개). 아래 본문의 금융보험·쇼핑·질병관리본부 서술은
그 시점의 사실이라 지우지 않았다 — 절대 원칙 8(“실패를 지운 기록은 기록이 아니다”)과
같은 이유로, 계획이 바뀐 사실 자체가 기록이다.
이 페이지에서 바뀐 것 (2026-09-28 정정): ① 10.2 의 발표 문장 수치(0.48 / 0.66)는 잰 적이 없는 값이었다 — 실측 곡선으로 바꿨다. ② 10.6 의 F-2 는 차단이 아니라 경고하는 필요서류 체크리스트다(decisions/305·125). ③ 10.7 의 F-1·G-1 은 폐기·제외돼 구현하지 않는다(기획서 rev.5).
10.1 “통화 중”에 개입한다
대부분의 콜센터 프로젝트는 통화 후 녹음을 처리한다. 실시간 개입은 트리거 판정, 오류 내성, 레이턴시 예산이라는 별개의 문제군을 만든다 (1.2절).
10.2 STT 오류율별 성능 곡선
“오류율 10%에서 Recall@5가 0.48까지 떨어졌고, 하이브리드 검색으로 0.66까지 복구했습니다.”⚠ 2026-09-28 정정 — 위 문장의 0.48·0.66 은 잰 적이 없는 값이다. 4장에서 발표 문장의 「형태」를 보이려고 든 예시였는데, 이 페이지로 옮겨지면서 그 단서가 빠졌다(절대 원칙 2 위반). 「하이브리드 검색으로 복구」도 사실이 아니다 — RRF 하이브리드 병합은 채택하지 않았다(
decisions/206). 옛 문장은 지우지 않고 그었다(절대 원칙 8).
실측값(2026-09-22 · 커밋 e966b62 · 골든셋 v1-150.1 B n 96 · 시드 3개 중 최저 · scripts/measure_error_tolerance.py):
| 전사 오류율 | 0% | 5% | 10% | 15% | 20% |
|---|---|---|---|---|---|
| Recall@5 — KoE5 dense (지금 운영 구성) | 0.969 | 0.969 | 0.969 | 0.969 | 0.969 |
| Recall@5 — BM25 기준선 | 0.812 | 0.812 | 0.792 | 0.802 | 0.792 |
오류율 10% 기준(≥ 0.60)은 둘 다 넘는다. 곡선이 「떨어졌다가 복구」되는 모양이 아니다 — 검색은 오류에 거의 흔들리지 않았고,
개선은 BM25 → dense 로 구성을 바꾼 것(오류 없음 0.812 → 0.969)에서 나왔다.
⚠ 한계 둘: 오류 주입기가 실측 STT 오류의 46.9% 를 흉내 내지 못해 곡선은 낙관 쪽이다. 이 곡선은 골든셋 v1-150.2(B n 102)로 다시 재지 않았다.
마스킹 재현율 곡선도 같은 실험에서 나왔다 — C-5 누락은 규칙만 쓰면 오류 5%에서 1건·10%에서 2건, 규칙+NER 은 15%부터 2건이다 (판정 24건 · 같은 커밋). 실험 하나로 검색과 마스킹을 함께 설명한다 (4.2절).
10.3 채점에 LLM을 쓰지 않는다
답을 만든 모델이 자기 답을 심판하면 순환이 된다. 모든 지표를 규칙으로 계산했고, 정답 정의를 코드로 표현할 수 없는 지표는 지표로 인정하지 않았다 (트리거 허용 창을 정의한 이유).
10.4 재현율 우선 설계의 근거
컴플라이언스와 마스킹에서 누락이 오탐보다 위험하다는 비대칭을 지표 우선순위로 명시했다 (평가 설계).
10.5 실패 사례 분석
“이런 질문은 여전히 틀리고, 원인은 이것이며, 해결하려면 이런 접근이 필요하다.”
10.6 RAG를 검증 도구로 쓴다 (F-2)
일반적인 RAG는 답을 찾아 보여준다. F-2의 RAG는 행위를 차단할 근거를 가져온다. 필요서류가 빠졌는지 판정할 근거를 가져온다. 검색 결과가 사용자에게 보여지는 정보가 아니라 게이트 판정의 입력이 되는 구조는 흔하지 않다 (2.7절).
⚠ 2026-09-28 정정 — F-2 는 다산 필요서류 체크리스트로 전용됐고, 차단하지 않고 경고만 한다(
verdictblocked→incomplete,decisions/201·305). 골든셋 99건에서 판정 정확도 1.0 이 나왔지만 팀이 만든 규칙표 안에서의 값이다(decisions/125, 절대 원칙 10).
10.7 통제 가능한 구간과 아닌 구간을 분리했다
레이턴시를 내부 처리와 E2E 체감으로 나눠 측정했다. 통제 밖 구간에 목표를 걸지 않되 기록은 남긴다 (4.3절).
10.8 검증 불가를 명시한다
F-1·G-1의 탐지 성능은 측정할 수 없다고 문서에 적었다. C-5의 절대 규칙도 “P1~P7 패턴에 대해”로 범위를 한정했다. 자기 프로젝트의 미검증 영역을 스스로 표시하는 것이 과장된 주장보다 강한 인상을 남긴다 (5.5절).