분류기·NER 대조군 실측 — KcELECTRA vs klue/roberta-base
2026-09-18 닫음 — 측정 불가 (학습 안 함,
_project/decisions/210). 두 모델 모두 파인튜닝이 전제였는데 팀이 모델을 학습하지 않기로 했다. 비교는 하지 않았고 수치도 없다 — 지우지 않고 남긴다(절대 원칙 8). 라벨 데이터가 생겨210의 선택지 C 가 열리면 다시 연다. 아래는 닫기 전 원문이다.
무엇을
_project/decisions/010 이 대조군으로만 올려 둔 klue/roberta-base 를
KcELECTRA-base 와 실제로 붙여 재고, 어느 쪽을 쓸지 정한다.
왜 5주차인가
미결 항목이 「5주차 오류 내성 실험에서 실측한다」고 시점을 못박아 뒀다. 오류 주입 인프라가 5주차에 서므로 깨끗한 입력과 오류 입력 양쪽에서 한 번에 잴 수 있다 — 따로 재면 같은 일을 두 번 한다.
완료 조건
- 같은 데이터·같은 분할에서 두 모델을 잰다 (분류기: 컴플라이언스 / NER: P6·P7)
- 오류율 0% 와 10% 양쪽에서 잰다 — 깨끗한 입력에서만 이기는 모델은 우리 쓰임에 맞지 않는다
- 추론 속도도 함께 잰다. 4.1절 p95 ≤1,000ms 예산 안에서 돌아야 한다
- 진 쪽도 수치를 남긴다(절대 원칙 8). 결과에 따라
decisions/010을 고치면 새 결정 기록(2xx)을 쓴다
주의
LLM 을 채점자로 쓰지 않는다(절대 원칙 1). 분류 정확도·재현율은 라벨 대조로 계산한다.
2026-09-15 — 착수하지 못했다. 막는 것이 둘이다
- 컴플라이언스 분류기를 학습할 데이터가 없다. 골든셋의 C-1~C-4 라벨은 양성 14 · 음성 6 — 채점용이다. 학습에 쓰면 평가가 무너진다.
AI Hub 실제 상담원 발화 9,881건이 있지만 위반 라벨이 없다(
scripts/measure_compliance_real_agents.py는 라벨 없이 걸린 발화만 센다) - 두 모델 모두 파인튜닝이 필요하다. 학습은 정성윤 님이 개인 PC 에서 돌리고 모델만 올린다(2026-09-14 결정) — 운영·CI·이 머신에서 학습하지 않는다
NER 쪽도 같다: P6·P7 은 이미 사전학습 NER(koelectra-ner) + 규칙으로 누락 0 을 냈고(w5-ner-p6-p7), KcELECTRA·klue/roberta 를
NER 로 쓰려면 개체명 데이터로 파인튜닝해야 한다.
다음에 필요한 것: ① 학습용 라벨 데이터 출처(KLUE-NER 공개셋 · 컴플라이언스는 직접 라벨링 여부) ② 학습 모델 업로드 위치·버전 표기(미결 09-14 항목).
그게 정해지면 비교는 오류 주입기(measure_error_tolerance.py)와 같은 틀로 0%·10% 에서 한 번에 잰다.
2026-10-01 — done → cancelled (정성윤, 최종 점검)
본문이 「착수하지 못했다」 인데 상태가 done 이었다 — 완료 조건 넷이 전부 미충족이다. 비교 자체를 하지 않기로 한 것이므로(decisions/210 학습하지 않는다 · 규칙 v1 + 사전학습 NER 이 최종) cancelled 가 맞다. 137 로 넘겨받아 상태만 고친다.