수동 검색이 무의미 입력에도 결과를 준다 — 「관련 문서 없음」 문턱을 그 경로에만 건다
수동 QA Q-44. 류준 님의
w6-b6-threshold-decision·w6-b6-conversational-recalibration은 자동 추천 경로에 대해 「보류」로 닫혔다(decisions/215·216) — 결론이 났으니 그 티켓들은 그대로 둔다. 이 티켓은 수동 검색 경로만 다룬다.
무엇을
「관련 문서를 못 찾으셨나요?」(POST /hub/search)에 무의미한 말을 넣으면 조항이 붙는다.
09-22 QA: ㅁㄴㅇㄹ → 「결과 4건을 아래에 추가했어요」. 「관련 문서 없음」이 맞다.
왜 자동 경로와 갈라서 다루나
215 의 보류 사유는 대화체 발화다 — 문턱을 전역으로 걸었더니 E2E 24건에서 발동 추천의 60%(114/189)가
기권하고 필요서류 절차가 사라졌다. 수동 검색에는 대화체·맞장구가 들어오지 않고, 기권해도 사라질 자동 카드가
없다. 문턱 값을 잰 보류 표본 24건이 바로 이 모양의 질의(정답 없는 문의)다.
한 것 (2026-09-23)
AbstainingRetriever추가(ai/apps/retrieval/adapter/outbound/) — 1순위가 문턱 아래면 빈 목록ai/provider.pywrap_no_answer()— dense 단독일 때만 씌운다(리랭커 로짓·BM25 raw 는 눈금이 다르다)- 수동 검색 포트를
get_search_retrieval_port로 갈랐다. 꽂는 곳은 합성 루트 하나. 안 꽂으면 종전 동작 - 자동 추천은 그대로 —
FallbackRetriever(abstain_below=None).215보류를 되돌리지 않는다 - 테스트: 어댑터 6건(경계값 · 0건과 기권 구분 · 횟수 · top_k 전달) · 조립 2건(수동만 씌움 · 리랭커·BM25 제외) ·
라우터 2건(전용 포트가 기권하면 빈 결과 · 안 꽂으면 종전).
server·ai전량 초록 · 계약 5+3 KEPT - 근거·되돌리는 법:
_project/decisions/135
2026-09-23 (배포 뒤) — 운영에서 재고 한 번 더 고쳤다
0.1.39 배포 뒤 운영 파드에서 직접 쳐 봤다 — 문턱은 맞았고 게이트가 틀렸다.
| 질의 | 1순위 | 그때 결과 |
|---|---|---|
ㅁㄴㅇㄹ · ㅂㅈㄷㄱ · ㅋㅋㅋㅋ |
0.527~0.540 | 5건(걸려야 했다) |
전입신고 · 주민등록초본 떼려면 뭐가 필요해요 |
0.792 · 0.835 | 5건(맞다) |
무의미 셋은 0.53 근처, 진짜 질의는 0.79 이상 — 0.67 이 정확히 가른다. 그런데 안 걸린 이유는
wrap_no_answer 가 층 목록이 ["retrieval_dense"] 와 정확히 같은지로 봤기 때문이다. 운영은 캐시까지
켜서 ["retrieval_dense", "retrieval_cache"] 다. 테스트가 cache_size=0 으로만 조립해서 못 잡았다.
0.1.40 에서 "retrieval_dense" in layers and "rerank" not in layers 로 고치고, 캐시가 켜진 운영
구성으로 조립하는 테스트를 더했다.
완료 조건
- 수동 검색만 문턱이 걸린다(테스트)
- 운영 API 로 확인했다(
0.1.40, 2026-09-23) —ㅁㄴㅇㄹ·ㅂㅈㄷㄱ·ㅋㅋㅋㅋ0건 「관련 문서 없음」 ·전입신고5건(0.792) · 「주민등록초본 떼려면 뭐가 필요해요」 5건(0.835). 진짜 질의는 그대로 나온다 - ⚠ 재지 않았던 것이 재졌다 — 무의미 입력의 dense 1순위는 0.527~0.540 이고 문턱 0.67 이 정확히 가른다. 질의 쪽 가드(자모만·길이·어휘)는 필요 없다
- 화면에서 Q-44 를 다시 누른다(판정은 사람이 —
decisions/319). 「결과 N건을 아래에 추가했어요」 대신 「관련 문서 없음」 문구가 나오는지까지 본다 — 문구는 조서희 님 소관 - 류준 님께 공유 —
215를 되돌린 것이 아니라 경로를 가른 것이라는 점
근거: 진행 기록 2026-09-22-18-seongyun Q-44
2026-09-30 — 화면 확인 · done (정성윤)
수동 QA 2회차(_logs/2026-09-30-01-seongyun, 운영 server 0.1.43 · call-mediator 0.2.11 · call index-sR-v0E8Y) Q-44 ✅ — ㅁㄴㅇㄹ → 「「ㅁㄴㅇㄹ」 관련 문서 없음. 검색어를 바꿔 다시 찾아보세요.」 · 전입신고 → 「결과는 이미 패널에 올라와 있어요」(중복 억제) · 민원 → 3건.
류준 님 공유는 이 티켓과 진행 기록(/progress/)이 그 자리다 — 215 를 되돌린 것이 아니라 수동 검색 경로에만 문턱을 건 것.