통화 후 처리(D) 채점 문제 10건 — 요약·유형 정답이 골든셋에 0개

정성윤이 09-22 저녁 최종 QA(류준 페르소나 4 + 검증 웨이브)·운영 확인 결과를 보고 만든 티켓이다. 담당은 «제안»이다 — 본인이 확인하고 맞으면 착수, 아니면 옮긴다.

무엇을

D(요약·유형분류·공백 리포트)는 구현돼 있는데 골든셋에 채점 문제가 없어 하네스가 「측정 불가」를 낸다. 발화는 직접 쓴다(자체 녹음 금지, 절대 원칙 7).

완료 조건

• 합성 대본 24건 중 10건에 요약 정답(핵심 항목 목록)·문의 유형 정답 라벨
• 규칙 기반 채점(항목 포함 여부 · 유형 일치) — LLM 채점 금지(절대 원칙 1)
• 하네스 리포트에 D 줄이 숫자로 나온다 — D-1 은 나온다, D-2 는 「측정 불가 — 유형이 null」. inquiry_type NULL 문제(w6-d2-inquiry-type-null)가 먼저 닫혀야 유형 채점이 의미 있다

근거: 마감 체크리스트 17번.

2026-09-22 — 라벨·채점기·하네스 배선 (류준, 에이전트)

• 정답 golden-set/postcall-v1.json — 10통화(SYN-001·002·005·008·010·012·013·015·018·020) · 핵심 항목 60개 · 유형 3종(유형표는 postcall_summary.INQUIRY_TYPES 4종). 표기·선정 근거는 golden-set/README.md
• 채점 ai/apps/evaluation/metrics/postcall.py — 정규화(한글·영문·숫자만) 후 허용 표기 부분 문자열 포함률 · 유형 글자 일치. 유형이 전부 null 이면 0 이 아니라 측정 불가. 근거 decisions/218
• 하네스 run_eval 맨 뒤에 postcall 섹션. run_eval.py 가 운영과 같은 RulePostcallAdapter(decisions/306)를 마스킹한 발화로 꽂는다 — 운영에 Ollama 가 없어 모델 요약은 안 꽂힌다
• 측정 1회(d74d7ff+작업 트리, run_eval.py --runs 1 --retriever bm25 --no-ner, 기록 안 함): 포함률 매크로 0.381 · 마이크로 0.35(21/60) · 종류별 문의 10/10 · 요청 5/7 · 안내 3/10 · 서류 2/23 · 조치 1/10 · 유형 측정 불가
  • 원인: 발췌가 «첫 실질 고객 발화 + 바로 뒤 상담원 발화» 둘뿐이라 서류 안내·마무리 약속은 통화 중·후반에 있어 빠진다(PC-02·07·09 는 상담원 첫 발화가 되묻기)
• 남은 것: 유형 채점은 w6-d2-inquiry-type-null(장민석)이 닫혀야 숫자가 된다 → 그래서 in-progress. 서버 _MODULE_ID 에 "postcall": "D-1" 이 없다(8자라 VARCHAR(10) 에는 들어간다) — --record 전에 장민석 확인

2026-09-22 밤 — 유형도 숫자가 됐다, 닫는다 (류준)

w6-d2-inquiry-type-null 이 장민석 님 decisions/323 으로 main 에 들어와 유형이 채워졌다. 처음엔 0.0 — 정답 파일이 ai/ 의 옛 유형 이름을 쓰고 있었다. 운영 유형표로 이름을 옮기고(decisions/218 추가 절) 유형 정확도 1.0(10/10, 상한) · 핵심 항목 포함 0.35(21/60). 하네스 D 줄이 전부 숫자다.

2026-09-24 — 「유형 정확도 1.0」에 붙이는 잰 범위 (류준)

10/10 은 5종 중 3종만 본 값이다. golden-set/postcall-v1.json 의 type_catalogue.types 는 대중교통 · 상하수도 · 일반행정 · 감염병 · 재난·생계 지원금 5종인데, 10통화가 쓰는 유형은 일반행정 4 · 상하수도 3 · 대중교통 3 뿐이고 감염병 · 재난·생계 지원금 은 0건이다(파일 직접 셈).

절대 원칙 5 「통과는 잰 범위 안에서만 성립한다」대로, 이 값을 인용할 때는 「5종 중 3종(일반행정·상하수도·대중교통) 표본에서의 10/10」이라고 적는다. 나머지 두 유형은 통과도 실패도 아닌 측정 불가다 — 6장(재난·생계 지원금) 대본은 유형이 4종이던 때 라벨할 수 없어 뺐고(decisions/218 「한계」), 감염병 대본은 아예 없다.

⚠ 함께 적을 것: 이 1.0 은 --record 로 남긴 run 이 아니다. 판정용 run_id 8·9(커밋 5b2b4c4)는 decisions/323 머지 전 커밋이라 리포트에 「측정 불가 — 유형이 null」로 찍혀 있다.