AI 파트 발표 — 심사 질문 34개 검토 · 외부 데이터 재측정 · 발표 수정안
무엇을
발표 「AI 파트」 초안을 심사위원 반박 질문 34개로 검토하고, 근거가 없으면 재고, 못 재면 한계로 정리했다. 운영 코드·규칙·골든셋은 고치지 않았다(측정만).
산출물: docs/ai-part-review/00~07 · 스크립트·숫자 결과 eval/review-2026-10/.
결과 (2026-10-13, 커밋 63c4d41, CPU)
- 임베딩 4종 비교(n 102): bge-m3 0.980 · KoE5 0.971 · ko-sroberta 0.961 · me5-base 0.922 — 실제 STT 수준 오류(WER 0.36)에서 KoE5 = bge-m3 0.931
- STT 오류 곡선을 0.40 까지 — 실제 Google STT WER 0.358(n 20)인데 기존 곡선은 0.20 까지였다
- 모델 요약 첫 채점: 0.717 < 규칙 0.883 (10통화 60항목) — 발표의 0.883 은 규칙 값이었다
- 실데이터: 상담원 발화 4,952 중 경고 2(둘 다 오탐) · 주민번호 요구 2건 놓침 / 고객 발화 10,223 중 가림 42 · NER 추가분 47% 오탐
- 공개 욕설 데이터(UnSmile 3,737): 사전 재현율 0.188 · 오탐 0.002 → 분류 AI 로드맵의 근거
- 하네스 한 명령 재현 31초 · 운영 RDS run_id 1 값과 동일
- 발표 문구 수정 4건(원문 화면 표시 · 요약 0.883 · 20% 곡선 · 파인튜닝 일반화) —
04_deck_patch.md