09-17 운영 점검·로컬 E2E 에서 나온 AI 쪽 구멍 — 위기 신호 · C-1/C-3 · 추천 후보 · NER 운영
무엇을
2026-09-17 페르소나 4명(운영 SRE · 콜 미디에이터 문지기 · CI 검사관 · 상담원 E2E)으로 운영과 로컬 전체 스택을 점검했다.
합성 통화 4건(SYN-003·004·006·009)을 로컬 서버·콜 미디에이터에 흘려 AI 쪽(ai/)에서 나온 구멍을 고친다.
다른 팀원 몫(대시보드 환경변수 · 이름·번지 규칙 · 콜 미디에이터 컴플라이언스 배선 · 통화 종료 상태 · 인프라)은 미결로 넘겼다.
완료 조건
- C-6 위기 신호 「그냥 다 끝내고 싶어요」 · 「없어지고 싶」 · 「살고 싶지 않」 — 일 이야기(「서류를 오늘 안에 다 끝내고 싶어서요」)는 면제. 같이 놓친 「목소리만 예뻐」 · 「나랑 술」 · 「멍청한」 · 「너 같은 게」 추가. 실제 다산 고객 발화 10,257건에서 규칙 전후 새로 걸린 발화 0건(과탐지 증가 없음)
- C-1 소급 지급 약속 · 감면 비율 예고, C-3 「위임장까지는 필요 없으실」 · 조사 「까지는」. 실제 상담원 발화(개발 절반 4,929건) 걸린 발화 4 → 4(과탐지 증가 없음)
- 추천 후보에서 POLICY(내부 규정) 조항 제외 — BM25·dense 둘 다. 골든셋 BM25 Recall@5 0.833 → 0.833 · MRR 0.659 → 0.666(3회 최저). 인감증명 통화 1순위 POLICY-1 → TERM-4.5
- 재생기
--close --core-url— 마스킹본만 실어 통화 후 요약 초안 - 결정 기록
208(제안) — 운영에 NER·임베딩을 먼저 켜고 리랭커는 미룬다. 이 맥 측정(메모리·지연·효과) 포함 208을 정성윤 님과 합의 → 이미지·모델 파일 위치 → t3.large 에서 재측정decisions/121로 대체 — 지금 노드엔 안 올리고 전용 GPU EC2 에 올린다. t3.large 재측정은 없어졌고, 모델 계열 로컬 참고치는w5-error-curve-model-series에서 쟀다재난지원금 통화 1순위(BM25 → 5.9)는 임베딩이 켜져야 풀린다→ GPU EC2(121) 가 뜬 뒤의 일이라 이 티켓에서 뺀다(E2E ❌2 = SYN-011·021 검색 순위, 같은 원인). 그때w5-persona-e2e검사로 확인- 합성 대본을 하네스에 올릴지 → 올리지 않는다(
decisions/210, 09-18 — E2E 검사가 그 역할)
주의
이번 수치는 전부 로컬 값이다. 골든셋 값은 규칙을 본 뒤라 상한이고, 모델 지연은 이 맥(Apple M5, torch 2스레드) 값이라 운영(t3.large)이 아니다.
2026-09-21 — 닫음
남은 셋이 전부 decisions/121(GPU EC2)·210(합성 대본은 하네스 밖) 으로 정리돼 이 티켓에서 할 일이 없다. 운영에 임베딩이 켜진 뒤의 확인은 w5-persona-e2e 가 맡는다.
머지 주석 (2026-09-21, 정성윤) — 아래 「보드 최신화」는 위 닫음 기록(
ai11:06)과 거의 같은 시각(main976f42e, 11:14)에 서로 못 본 채 따로 쓴 것이다. 상태는 front matter(done)가 맞고, 아래 메모의 「상태는 그대로」·「류준 님이 정한다」는 위 닫음으로 이미 답이 났다. 지우지 않고 남긴다(절대 원칙 8).
보드 최신화 (2026-09-21, 정성윤 — 사용자 지시로 전체 보드를 한 번에 맞췄다). 상태는 그대로다. 완료 조건 1·2번의 전제가 바뀌었다 —
208(지금 노드에 NER·임베딩 먼저)은 채택되지 않았고decisions/121(전용 GPU EC2)로 갔다. 「t3.large 에서 재측정」은 의미가 없어졌다. 이어받는 티켓: w6-gpu-model-instance · w6-ai-model-http-surface · w6-model-config-remeasure. 3번(합성 대본을 하네스에 올릴지)은 09-18 에 「올리지 않는다」로 정해졌다(decisions/210). 류준 님이 보고 닫을지 정한다.