지식인 답변 자동화는 왜 채택을 받지 못했나?
지식인 답변 자동화를 몇 달 돌린 뒤 저희가 마주한 문제는 단순했습니다. 답변은 매일 올라가는데 채택이 거의 붙지 않았습니다. 채택률은 2.8%였습니다. 답변 100건을 올리면 질문자가 골라 주는 답변은 세 건이 안 되는 셈입니다.
채택이 중요한 이유는 두 가지입니다. 첫째, 채택된 답변은 질문 페이지 맨 위에 고정돼 검색으로 들어온 사람이 가장 먼저 읽습니다. 둘째, 네이버 지식iN은 채택 수로 답변자 등급을 매기고, 등급마다 하루에 달 수 있는 답변 수가 다릅니다. 저희 계정 정보 화면에는 “중수까지 남은 채택 답변 15”라는 문구가 떠 있었습니다. 채택 15건만 더 받으면 하루 50건까지 답할 수 있는 등급으로 올라가는 상태였습니다.
비용 문제는 아니었습니다. 이 채널의 실제 비용은 정해진 시각에 스크립트를 돌리는 크론 작업과 LLM 호출뿐이라 거의 0에 가깝습니다. 문제는 천장이었습니다. 8월 13일부터 24일까지 12일 연속으로 하루 발행 상한에 닿았고, 발행을 기다리는 초안이 15~18건씩 쌓여 있었습니다. 8월 25일에 상한을 5건에서 7건으로 올렸지만, 상한을 올려도 채택이 따라오지 않으면 등급은 그대로이고 천장도 그대로입니다.
그래서 질문은 “얼마나 많이 올리나”에서 “왜 채택이 안 붙나”로 옮겨 갔습니다. 이 글은 그 질문에 처음 세운 답이 틀렸던 과정과, 결국 발행 경로를 두 갈래로 나눈 조치를 정리한 기록입니다.
처음 잰 숫자: 답을 단 질문의 나이 중앙값 141일
감으로 원인을 고르지 않으려고 먼저 남의 데이터를 셌습니다. 지식iN에서 답변을 꾸준히 다는 다른 업체 계정(아정당)의 답변을 전수로 모아, 질문이 올라온 시점과 답변이 달린 시점의 간격별로 채택률을 나눴습니다. 측정 방법은 간단합니다. 답변마다 질문 작성일과 답변일의 차이를 구하고, 그 구간별로 채택 표시가 붙은 비율을 셉니다.
결과는 한쪽으로 크게 기울어 있었습니다. 질문이 올라온 당일에 단 답변의 채택률은 27.0%였습니다. 질문이 올라오고 8일 이상 지난 뒤에 단 답변은 0~1.5%에 그쳤습니다. 같은 계정, 같은 답변자인데 시점 하나로 스무 배 가까운 차이가 납니다.

그다음 저희 발행분을 같은 방법으로 쟀습니다. 저희가 답을 단 질문의 나이 중앙값은 141일이었습니다. 질문이 올라온 지 7일이 안 된 질문에 단 답변은 3건뿐이었고, 그 3건에서도 채택은 0건이었습니다. 채택률 2.8%가 이 한 숫자로 거의 설명됐습니다. 저희는 다섯 달쯤 묵은 질문에 주로 답하고 있었습니다.
마지막으로 공급량을 셌습니다. 당시 질문을 찾는 방식은 키워드 검색이었습니다. 정해 둔 키워드로 질문을 검색해 후보를 모으는 스카우트 단계입니다. 이 방식으로 찾은 질문 중 올라온 지 7일 이내인 것은 하루 평균 4.4건이었습니다. 상한을 7건으로 올려 둔 상태에서, 그나마 신선한 질문은 하루 네 건 남짓만 들어오고 있었던 셈입니다.

처음 세운 가설: 답변 문장과 발행량이 문제다
숫자를 보기 전에 저희가 의심한 원인은 세 가지였습니다. 지금 보면 셋 다 그럴듯했고, 셋 다 일부만 맞았습니다.
- 가설 A(프롬프트 문제): 답변을 쓰는 LLM 지시문이 나빠서 질문자가 고를 만한 답이 안 나온다. 고칠 곳은 문장이다.
- 가설 B(발행량 문제): 하루 상한에 매일 닿고 대기 초안이 쌓이니, 상한만 풀면 채택도 비례해서 는다.
- 가설 C(검색 방식 문제): 키워드 검색을 최신순으로 바꾸면 신선한 질문을 충분히 얻는다. 공급원은 그대로 두고 정렬만 바꾸면 충분하다는 가설입니다.
이전에 내렸던 판단 하나도 같은 방향을 가리키고 있었습니다. 구매 의사가 드러나는 단어가 들어간 질문 25건에 답했는데 채택이 0건이었습니다. 처음에는 이것을 “구매 의도 질문은 전멸”이라는 신호로 읽었고, 답변 문장이나 질문 선택이 틀렸다는 근거로 쓰려 했습니다.
주제가 사업과 맞지 않는다는 의심도 있었습니다. 7월 말에는 질문을 찾는 고정 키워드 13개 중 2개가 이미 판매를 접은 서비스를 겨냥하고 있었고, 정작 지금 파는 홈페이지 제작·AI 챗봇·블로그 운영대행에는 키워드가 하나도 없었습니다. 그때 신규 질문 유입이 하루 15건에서 2건으로 떨어졌고, 키워드를 21개로 늘리자 후보가 2건에서 92건으로 46배 늘었습니다. 그래서 “질문을 잘못 고르고 있다”는 생각이 자연스러웠습니다.
가설은 어디서 틀렸나?
가설 A부터 무너졌습니다. 답변을 쓰는 지시문에는 이미 “최신 질문 우선”이라는 문장이 들어 있었습니다. 그런데 결과가 141일이었습니다. 지시문은 주어진 후보 중에서 고를 뿐이고, 후보 자체가 오래된 질문이면 아무리 “최신 우선”이라고 적어도 오래된 질문에 답합니다. 문장을 다듬어서 풀 수 있는 문제가 아니었습니다.
가설 B도 같은 이유로 틀렸습니다. 상한을 7건에서 10건으로 올려도 늘어나는 것은 오래된 질문에 단 답변입니다. 8일 넘은 질문의 채택률이 0~1.5%라면, 하루 세 건을 더 올려도 기대 채택은 거의 늘지 않습니다. 상한은 병목이 맞았지만 채택의 병목은 아니었습니다.
가설 C는 실제로 시험해 봤습니다. 키워드 검색 API로 신선한 질문을 뽑아 보니 하루 2.3건이 나왔습니다. 기존 스카우트의 4.4건보다도 적었습니다. 검색 순서를 바꿔도 키워드로 걸리는 질문의 총량이 작으면 신선한 질문은 늘지 않습니다.
“구매 의도 질문 25건 채택 0”도 다시 계산하니 신호가 아니었습니다. 기저 채택률 2.04%를 그대로 적용하면 25건에서 기대 채택은 0.51건입니다. 차이가 전혀 없어도 0건이 나올 확률은 (1-0.0204)^25 = 0.597, 약 60%입니다. Fisher 정확검정 p값은 1.000이었습니다. 표본이 작아 아무것도 말해 주지 않는 숫자를 원인으로 읽을 뻔했습니다.
“질문 주제가 사업과 무관하다”는 의심도 재검산했습니다. 처음엔 무관한 질문이 13%라고 셌는데, 키워드 “AI”가 소문자 “ai”를 못 잡는 대소문자 버그와 과소 판정이 섞여 있었습니다. 손으로 다시 읽으니 진짜 무관한 질문은 4건, 4.1%였습니다. 주제 정확도는 95.9%였습니다. 스카우트는 주제를 잘 맞히고 있었고, 시점을 맞히지 못하고 있었습니다.

진짜 원인은 무엇이었나: 공급원과 발행 주기
채택은 질문이 살아 있을 때만 일어납니다. 질문자는 질문을 올린 직후 몇 시간에서 하루 안에 답을 읽고 고릅니다. 그 시간이 지나면 질문자는 이미 다른 데서 답을 찾았거나 질문을 잊습니다. 당일 27.0%와 8일 이상 0~1.5%의 차이가 그 사실을 숫자로 보여 줍니다.
그렇다면 원인은 두 군데에 있습니다. 하나는 공급원입니다. 키워드 검색은 주제로 질문을 찾기 때문에 언제 올라온 질문인지와 상관없이 쌓인 질문을 끌어옵니다. 다른 하나는 발행 주기입니다. 하루 몇 번 정해진 시각에만 발행하면, 오늘 아침 올라온 질문도 다음 발행 시각까지 기다려야 합니다.
채택은 질문이 살아 있을 때만 일어나고, 그건 공급원과 발행 주기의 문제지 프롬프트 문제가 아니다.
이 결론이 지시문 수정보다 덜 손에 잡히는 이유도 분명합니다. 프롬프트는 한 파일만 고치면 끝나는 것처럼 보입니다. 공급원과 주기는 질문을 긁는 스크립트, 답변 초안 단계, 발행 스케줄, 하루 상한을 모두 건드려야 합니다. 그래서 처음에 손이 쉬운 쪽부터 의심했던 것입니다.
다만 기존 키워드 경로를 버릴 이유는 없었습니다. 키워드로 찾은 질문은 오래됐어도 검색으로 계속 읽힙니다. 채택은 못 받아도 노출은 쌓입니다. 그래서 하나를 고치는 대신 목적이 다른 두 경로를 나란히 두기로 했습니다.
조치 1: 당일 질문만 받는 채택 트랙을 따로 세웠다
이 글에서 트랙은 질문을 찾고, 초안을 쓰고, 발행하는 한 줄의 처리 경로를 뜻합니다. 기존 경로는 노출 트랙으로 그대로 두고, 채택만 노리는 채택 트랙을 하나 새로 만들었습니다.

채택 트랙의 공급원은 키워드 검색이 아니라 분야별 최신 질문 목록입니다. 새로 만든 수집 스크립트(kin_fresh_feed.py)가 저희가 그동안 답해 온 하위 분야 14개의 최신 질문 목록을 로그인 없이 HTML로 읽습니다. 그중 작성된 지 24시간 이내이고 달린 답변이 1개 이하인 질문만 남깁니다. 이미 답이 여럿 붙은 질문은 질문자가 고를 후보가 많아 채택 가능성이 낮기 때문입니다.
초안 단계도 따로 둡니다. 초안 스크립트를 채택 트랙 모드로 돌리면 먼저 이 질문에 답할 수 있는지 판정하고, 답할 수 있는 질문에만 60~300자의 짧은 직답을 씁니다. 회사 이름은 한 번도 넣지 않습니다. 노출 트랙 답변이 정보를 풀어 쓰는 글이라면, 채택 트랙 답변은 질문자가 바로 읽고 고를 수 있는 짧은 답입니다.
짧은 답은 질문을 비켜 가기 쉬워서 검사를 붙였습니다. 길이는 최대 400자까지만 통과시키고, 질문과 답변의 관련성 점수가 5% 이상이면서 질문의 단어가 답변에 최소 2개 이상 겹쳐야 발행 후보에 오릅니다. 7월에 사람 승인 단계를 없애고 자동 검사만 남겼기 때문에(처리 단계가 6개에서 5개로 줄었습니다) 이 검사가 잘못된 답변을 막는 유일한 방어선입니다.
분야를 14개로 좁힌 데도 이유가 있습니다. 전 분야로 열면 질문은 훨씬 많아지지만, 답변에는 회사 프로필명이 그대로 붙습니다. 본업과 먼 분야에서 사실과 다른 답을 달면 그 이름이 같이 노출됩니다. 그래서 그동안 답해 온 분야에 인접한 14개로 묶었고, 넓히는 결정은 실측 뒤로 미뤘습니다.
조치 2: 하루 상한을 7건에서 10건으로, 천장은 네이버 등급이 정하게
신선한 질문을 받을 경로가 생겼으니 그다음에 상한을 올렸습니다. 순서가 중요합니다. 공급원을 바꾸기 전에 상한부터 올렸다면 오래된 질문에 단 답변만 늘었을 것입니다. 하루 총상한을 7건에서 10건으로 올리고, 그중 채택 트랙 몫을 6건으로 정했습니다.
상한을 단계로 올리는 것도 정해진 규칙이었습니다. 8월에 5건에서 곧바로 10건으로 가는 안을 기각했습니다. 7건으로 4주를 돈 실측 없이 10건으로 가면, 제재가 났을 때 원인이 상한인지 다른 변경인지 가를 수 없기 때문입니다. 이번 7건에서 10건으로의 상향은 그 단계의 두 번째 칸입니다.
여기에 천장을 하나 더 얹었습니다. 네이버 지식iN은 등급별로 하루 답변 수를 제한합니다. 초수 30건, 중수 50건, 고수 100건입니다. 이 값을 코드의 등급 상한 표(GRADE_DAILY_CAP)로 넣고, 매일 07시 10분에 계정 정보 화면을 읽는 스크립트(kin_profile_probe.py)가 현재 등급을 기록합니다. 실제 하루 상한은 저희가 정한 총상한과 등급 상한 중 작은 값입니다.
이렇게 해 두면 두 가지가 해결됩니다. 등급이 오를 때 사람이 설정값을 고칠 필요가 없습니다. 그리고 누가 어떤 값을 넣어도 네이버가 허용하는 수를 넘지 못합니다. 설정 실수 하나로 계정이 막히는 경로를 코드에서 지웠습니다.

발행 시각도 늘렸습니다. 8월에 08시 30분 슬롯을 더해 4개였던 발행 시각을 08~22시 사이 8개로 바꿨습니다. 매 슬롯에서 채택 트랙이 돌고, 키워드 검색 스카우트는 08시에 한 번 돕니다. 당일 질문을 노리는 경로라 발행 주기가 촘촘해야 질문이 식기 전에 답이 닿습니다.
그대로 둔 값도 적어 둡니다. 발행 간격 하한 2시간은 유지했습니다. 30분으로 바로 줄이는 안이 있었지만, 그 하한은 대표가 직접 정한 값이고 실측 없이 바꿀 근거가 없었습니다. 계정을 여러 개 운영하는 안도 기각했습니다. 지금 단계에서 권하는 길은 계정을 늘리는 것이 아니라 한 계정의 등급을 먼저 올리는 쪽입니다. 제재 신호가 잡히면 그날 상한을 5건으로 자동으로 되돌리는 장치도 그대로 둡니다. 이 장치는 자동입력 방지 문자 실패, 신원 확인 요구, 로그인 만료 3회 이상만 제재 신호로 셉니다.
제재 원복 장치를 어떻게 설계했는지는 네이버 계정 제재 자동 원복 글에 따로 정리했습니다.
재측정: 첫 라이브 사이클에서 초안 3건이 전부 버려졌다
2026년 9월 15일 밤, 채택 트랙을 처음 라이브로 돌렸습니다. 결과는 실패였습니다. 초안 3건이 모두 검사에서 떨어졌습니다. 길이가 305~313자로 300자 목표를 넘었고, 관련성 점수는 6~7%에 머물렀습니다. 짧은 직답을 쓰라고 했는데 모델은 습관대로 조금 더 길게 썼고, 질문과 겹치는 단어가 적었습니다.
이 실패는 검사가 제 일을 했다는 뜻이기도 합니다. 사람 승인 단계가 없는 파이프라인에서 3건이 그대로 나갔다면, 질문을 비켜 간 답이 회사 프로필명을 달고 올라갔을 것입니다. 초안 규칙과 검사 기준을 고친 뒤 같은 날 다시 돌렸습니다.

두 번째 사이클에서는 3건 중 2건이 검사를 통과했고, 그중 1건이 22시 31분에 실제로 게시됐습니다. 숫자는 작지만 경로 전체, 즉 최신 질문 목록 수집, 답할 수 있는지 판정, 짧은 직답 초안, 검사, 발행이 처음으로 끝까지 이어졌습니다.
이날 다른 실패도 하나 드러났습니다. 수리를 머지하는 명령 체인에서 테스트 출력을 줄이려고 pytest 뒤에 tail을 붙여 두었는데, tail이 pytest의 종료 코드를 삼켰습니다. 테스트가 실패해도 체인은 성공으로 읽혔고, 실패한 테스트가 그대로 머지됐습니다. 바로 다음 수정에서 이 부분을 바로잡았습니다. 파이프 뒤 명령의 종료 코드만 남는 셸 동작은 알려진 함정이지만, 출력을 줄이는 작은 편의가 검사를 꺼 버린다는 점은 이번에 다시 확인했습니다.
판정 기준을 왜 미리 정해 뒀나?
첫날 1건으로는 아무것도 판정할 수 없습니다. 그래서 언제, 어떤 숫자로 판정할지를 시작 전에 정했습니다. 판정일은 2026년 9월 29일, 숫자는 초안 스크립트의 깔때기 집계(kin_draft.py funnel)에서 읽습니다.
| 조건 | 판정 | 다음 행동 |
|---|---|---|
| 채택 트랙 게시 40건 이상이고 채택률 15% 이상 | 효과 있음 | 총상한·간격·분야를 넓히는 안을 올린다 |
| 중수 등급 도달 | 효과 있음 | 같은 안을 올린다(등급 상한 50건이 자동 적용) |
| 채택률 5% 미만 | 효과 없음 | 채택 트랙 하루 상한을 0으로 내려 끈다 |
기준을 먼저 박아 둔 이유는 지난 실수 때문입니다. “25건 채택 0”을 전멸로 읽은 것처럼, 결과를 보고 나서 기준을 고르면 우연을 신호로 읽기 쉽습니다. 15%는 당일 답변 채택률 27.0%와 저희 기존 2.8% 사이에 둔 선입니다. 5%는 기존 수준에서 의미 있게 벗어나지 못했다는 하한입니다.
발행량을 더 넓히는 안을 지금 올리지 않은 이유도 같습니다. 판정 숫자 없이 안건을 먼저 올리면 근거가 없어서 결정하지 못하고, 결정되지 않은 안건은 14일 넘게 응답 없이 떠 있게 됩니다. 9월 29일 숫자가 나온 다음에 총상한·간격·분야를 함께 묶어 한 번에 올리기로 했습니다.
남는 한계는 무엇인가?
이 글의 재측정은 첫날 두 사이클이 전부입니다. 게시 1건으로는 채택률을 말할 수 없습니다. 9월 29일 판정 결과는 이 기록에 담겨 있지 않아서 여기에 쓰지 않았습니다. 처음 질문의 나이를 재고 원인을 찾은 부분은 확인했지만, 채택률이 실제로 올랐는지는 아직 이 글이 답하지 못합니다.
노출 위험도 커졌습니다. 하루 상한이 7건에서 10건으로, 발행 시각이 8개로 늘면 자동 게시가 네이버 눈에 띌 가능성도 그만큼 큽니다. 8월에 5건에서 7건으로 올릴 때도 발행량 40% 증가만큼 제재 노출이 는다고 적었습니다. 제재 신호가 잡히면 5건으로 자동 원복하는 장치가 이 위험을 받치고 있습니다.
채택 트랙 답변은 회사 프로필명을 단 채 본업 밖 질문에도 나갑니다. 분야를 인접한 14개로 좁혀 완화했지만 0으로 만들지는 못했습니다. 짧은 직답은 길이 검사와 관련성 검사를 통과해도 사실이 틀릴 수 있고, 사람이 승인하지 않는 구조에서는 그 위험이 남습니다.
마지막으로, 공급원의 결함은 이번에도 사람이 숫자를 직접 세다가 찾았습니다. 7월의 키워드 불일치도 자동 감지가 아니라 두 파일을 나란히 읽다가 발견했습니다. 질문 나이처럼 결과를 가르는 값은 처음부터 집계해 두어야 했습니다. 이전 글 지식인 채택률 2.8%의 원인에서 질문 나이를 따로 다뤘습니다.
지식인이나 블로그처럼 자동으로 글을 올리는 채널을 운영하면서 결과가 따라오지 않는다면, 문장보다 공급원과 시점부터 재 보시길 권합니다. 비슷한 자동화를 검토 중이라면 상담으로 이야기를 나눌 수 있습니다.
글쓴이: SGK 스튜디오 엔지니어링. 중소기업의 홈페이지 제작과 AI 업무 자동화를 만들며 운영 중 겪은 일을 기록합니다.