지식인 채택률 2.8%의 원인, 프롬프트가 아니라 질문 나이였다

무엇이 문제였나: 지식인 채택률이 2.8%에서 멈췄다

지식인 채택률이 2.8%에서 움직이지 않은 것이 출발점이었습니다. 저희 파이프라인은 매일 질문을 찾아 AI로 초안을 쓰고, 길이·브랜드 언급·금지 문구·외부 링크 네 가지 품질 검사를 통과한 답변만 자동으로 올립니다. 2026년 7월 23일부터는 사람이 한 건씩 승인하는 단계도 없앴습니다. 품질 검사 네 종이 이미 걸러 내고 있었고, 승인 단계는 지연만 만들었기 때문입니다. 그 덕에 파이프라인은 6단계에서 5단계로 줄었습니다.

발행량은 문제가 아니었습니다. 2026년 8월 13일부터 24일까지 12일 연속으로 하루 상한까지 올렸고, 대기 큐에는 15~18건이 쌓여 있었습니다. 그래서 8월 25일 하루 상한을 5건에서 7건으로 올렸습니다. 이 과정은 지식인 하루 발행 상한과 제재 시 자동 원복 글에 따로 정리했습니다.

그런데 답변이 쌓이는 속도와 달리 채택은 거의 늘지 않았습니다. 지식iN에서 채택에는 두 가지 의미가 있습니다. 질문자가 저희 답을 골랐다는 신호이고, 동시에 계정 등급을 올리는 유일한 통로입니다. 등급이 오르면 하루에 쓸 수 있는 답변 수가 늘어납니다. 당시 계정 정보 화면에는 “중수까지 남은 채택 답변 15”라고 적혀 있었습니다. 채택 15건이면 하루 50건까지 쓸 수 있는 중수가 되는데, 채택률 2.8%로는 그 15건이 너무 멀었습니다.

처음 잰 숫자: 우리 답변이 붙은 질문은 며칠 묵은 글이었나?

원인을 감으로 정하지 않기 위해 비교 기준부터 구했습니다. 지식iN 답변을 대규모로 운영하는 회사 하나를 골라, 그 계정들이 단 답변과 채택 결과를 전수로 모았습니다. 이 조사에서 채택을 가르는 1순위 변수는 문장 품질도, 답변 길이도 아닌 질문의 신선도였습니다. 질문이 올라온 당일에 단 답변은 27.0%가 채택을 받았고, 질문이 올라오고 8일 이상 지난 뒤 단 답변은 채택률이 0~1.5%였습니다.

같은 잣대로 저희 발행분을 쟀습니다. 측정 방법은 단순합니다. 저희가 답한 질문마다 질문 작성 시각과 저희 답변 게시 시각의 차이를 구하고, 그 중앙값을 냈습니다. 결과는 141일이었습니다. 저희 답변의 절반 이상이 작성된 지 넉 달 반이 넘은 질문에 붙어 있었다는 뜻입니다. 작성 7일 이내 질문에 단 답변은 3건뿐이었고, 그 3건도 채택 0건이었습니다.

이 두 숫자를 나란히 놓자 2.8%라는 값이 따로 설명이 필요 없는 숫자로 바뀌었습니다. 오래된 질문에 답하면 채택률이 0~1.5% 근처에 머무는 것이 시장의 기저율이고, 저희는 그보다 아주 조금 높았을 뿐입니다. 질문 나이 하나로 저희 채택률이 거의 다 설명됐습니다.

이 측정에는 조심할 점이 하나 있습니다. 비교 대상 운영사의 수치는 그 회사 계정들의 답변에서 나온 값이고, 저희와 답변 분야가 똑같지는 않습니다. 그래서 27.0%를 저희 목표치로 삼지 않았습니다. 이 숫자는 “신선한 질문에 답하면 채택률의 자릿수가 달라진다”는 방향을 확인하는 데만 썼습니다.

세운 가설: 프롬프트를 고치거나 키워드를 늘리면 될까?

원인이 질문 나이라는 것까지는 분명했습니다. 다음 질문은 “왜 우리 파이프라인은 오래된 질문만 골랐나”였고, 처음 떠올린 가설은 두 개였습니다.

• 가설 1: 프롬프트 문제다. 초안을 쓰는 AI에게 '최신 질문을 우선하라'는 지시를 더 강하게 넣으면 신선한 질문을 고를 것이다
• 가설 2: 검색 경로 문제다. 질문을 찾는 키워드를 늘리거나 네이버 키워드 API로 검색하면 최근 질문이 더 많이 걸릴 것이다
• 가설 3: 주제 문제다. 우리 서비스와 무관한 질문에 답하고 있어서 질문자가 다른 답을 고른다

두 가설 모두 지금 구조를 크게 바꾸지 않아도 되는 해법이라 매력적이었습니다. 저희 파이프라인은 정해 둔 키워드로 지식iN을 검색해 후보 질문을 모으고, 그중 저희 서비스 분야와 맞는 질문을 골라 답합니다. 키워드 목록은 2026년 7월 26일에 13개에서 21개로 늘린 적이 있고, 그때 후보 질문이 2건에서 92건으로 46배 늘었습니다. 키워드를 손보면 공급이 바뀐다는 경험이 이미 있었던 셈입니다.

그래서 고치기 전에 두 가설을 하나씩 실측으로 확인했습니다. 프롬프트 가설은 이미 들어 있는 지시문을, 검색 경로 가설은 하루에 실제로 들어오는 신선한 질문 수를 셌습니다.

가설이 틀린 지점: 왜 '최신 우선' 지시는 141일을 막지 못했나?

첫 번째 가설은 지시문을 열자마자 무너졌습니다. “최신 질문을 우선하라”는 지시는 이미 프롬프트에 들어 있었습니다. 그 지시가 들어 있는 상태에서 나온 결과가 질문 나이 중앙값 141일이었습니다. 지시를 더 세게 쓴다고 바뀔 일이 아니었습니다. AI는 받은 후보 중에서 고를 뿐이고, 후보 목록에 신선한 질문이 없으면 '최신 우선'은 그나마 덜 오래된 질문을 고르는 데서 끝납니다.

두 번째 가설도 숫자에서 막혔습니다. 기존 키워드 검색 경로로는 작성 7일 이내 질문이 하루 4.4건밖에 들어오지 않았습니다. 네이버 키워드 API로 신선한 질문을 찾는 방법도 따져 봤지만 하루 2.3건으로 오히려 더 적었습니다. 7일 이내라는 느슨한 기준으로도 이 정도이니, 채택률이 27.0%까지 오르는 당일 질문만 추리면 하루에 몇 건 남지 않습니다.

여기서 한 가지 더 배운 점이 있습니다. 이 파이프라인에서 저희가 틀린 결론을 낸 것이 처음이 아니었습니다. 2026년 8월에는 “구매 의사가 드러난 질문 25건에 답했는데 채택 0건이니 그 분야는 전멸”이라고 판단한 적이 있습니다. 다시 계산해 보니 기저율 2.04%에서 25건이면 기대 채택이 0.51건이고, 차이가 없어도 0건이 나올 확률이 0.597, 약 60%였습니다. Fisher 정확검정 p값은 1.000이었습니다. 신호가 아니었습니다. 이 일은 지식인 채택률 분석과 기저율에 적었습니다.

세 번째 가설인 주제 문제도 이미 답이 나와 있었습니다. 같은 8월 재검산에서 “질문 고르는 단계가 무관한 질문을 13%나 고른다”는 판단도 틀렸다는 사실이 드러났습니다. 키워드 비교 코드가 대문자 AI만 찾고 소문자 ai를 놓친 버그에 사람의 과소 판정이 겹친 결과였습니다. 답변을 손으로 하나씩 읽어 보니 진짜 무관한 질문은 4건, 4.1%였고 질문을 고르는 정확도는 95.9%였습니다. 저희는 맞는 주제의 질문을 고르고 있었고, 다만 그 질문이 너무 늦게 도착했을 뿐입니다.

그 경험 덕분에 이번에는 “채택률이 낮다 → 답변이 나쁘다”로 바로 넘어가지 않았습니다. 낮은 숫자를 보면 먼저 기저율이 무엇인지, 그 숫자가 무엇의 함수인지부터 확인했습니다. 이번에는 그 함수의 변수가 질문 나이였습니다.

진짜 원인: 질문을 가져오는 통로와 발행 시각표

정리하면 채택은 질문이 살아 있을 때만 일어나고, 질문이 살아 있는지는 공급원과 발행 주기가 정합니다. 프롬프트가 정하지 않습니다. 키워드 검색은 주제가 맞는 질문을 찾는 통로이지, 방금 올라온 질문을 찾는 통로가 아닙니다. 그 통로를 아무리 잘 다듬어도 7일 이내 질문은 하루 4.4건만 걸렸습니다.

발행 주기도 같은 방향으로 작용했습니다. 질문을 찾는 시각과 답을 올리는 시각 사이가 길면, 찾을 때 신선했던 질문도 올릴 때는 이미 다른 답변이 몇 개 달린 상태가 됩니다. 당시 발행 슬롯은 하루 4개였고 답변 사이에 2시간 이상 간격을 두었기 때문에, 질문을 찾은 뒤 실제로 올리기까지 시차가 생겼습니다(추정: 슬롯 구조에서 나온 판단이고, 질문별 대기 시간을 따로 재지는 않았습니다).

채택은 질문이 살아 있을 때만 일어나고, 그건 공급원과 슬롯 주기의 문제지 프롬프트 문제가 아니다.

이 구조는 키워드 경로의 다른 약점과도 겹쳤습니다. 2026년 7월에는 새로 들어오는 질문이 하루 15건에서 2건으로 갑자기 줄어든 일이 있었는데, 원인을 따라가 보니 고정 키워드 13개 중 2개가 이미 판매를 접은 서비스를 겨냥하고 있었습니다. 키워드 목록이 사람이 손으로 맞추는 고정값이라, 판매 서비스가 바뀌어도 질문 공급이 따라 바뀌지 않았습니다. 키워드 경로는 이렇게 사람이 계속 손봐야 유지되는 통로였고, 신선도를 맡기기에는 처음부터 맞지 않았습니다.

또 하나의 숨은 원인은 하루 상한이었습니다. 하루 7건 상한 안에서 키워드 경로와 신선한 질문 경로가 슬롯을 나눠 쓰면, 신선한 질문을 늘리는 만큼 기존 경로가 줄어듭니다. 그렇다고 상한을 마음대로 올리면 네이버가 등급별로 정한 하루 한도를 넘을 수 있습니다. 상한을 어디까지 올릴 수 있는지를 코드가 알고 있어야 했습니다.

조치: 당일 질문만 받는 채택 트랙을 따로 만들었다

2026년 9월 15일, 파이프라인을 두 갈래로 나눴습니다. 기존 키워드 경로는 “노출 트랙”으로 그대로 두고, 당일 질문에 짧게 바로 답하는 “채택 트랙”을 새로 만들었습니다. 두 트랙은 목적이 다릅니다. 노출 트랙은 검색에 오래 남을 답변을 쌓고, 채택 트랙은 채택을 받아 등급을 올립니다.

• 질문 공급: 우리가 답해 온 하위 분야 14개의 최신 질문 목록 페이지를 로그인 없이 읽어, 작성 24시간 이내이면서 답변이 1개 이하인 질문만 가져온다
• 답할 수 있는지 판정: 초안을 쓰기 전에 AI가 먼저 '이 질문에 정확히 답할 수 있는가'를 판정하고, 아니면 건너뛴다
• 짧은 직답: 60~300자, 회사 이름 0회. 품질 검사 상한은 400자, 질문과 답의 관련성은 5% 이상이면서 질문 핵심어 2단어 이상 포함
• 분야 제한: 전 분야가 아니라 우리 본업과 인접한 14개 분야만. 프로필 이름이 붙은 채 답이 나가고, 모르는 분야에서는 사실 오류 위험이 커서다

발행 시각표도 바꿨습니다. 크론을 오전 8시부터 오후 10시까지 8개 슬롯으로 다시 짰고, 매 슬롯마다 채택 트랙이 돌아 그 사이 올라온 당일 질문을 확인합니다. 키워드 검색은 오전 8시 슬롯에서만 돕니다. 계정 등급과 남은 채택 수를 읽는 점검 스크립트는 매일 오전 7시 10분에 돌립니다. 답변 사이 최소 2시간 간격이라는 기존 하한은 그대로 뒀습니다.

상한은 세 겹으로 정리했습니다. 하루 총상한을 7건에서 10건으로 올리고, 그중 채택 트랙 몫을 6건으로 정했습니다. 7건에서 10건으로 가는 길은 8월에 이미 단계 상향으로 정해 둔 순서였고, 7건으로 몇 주를 돌린 실측이 있었기에 한 칸 올릴 근거가 섰습니다. 마지막으로 네이버의 등급별 하루 한도(초수 30건, 중수 50건, 고수 100건)를 코드가 직접 읽어 천장으로 씁니다.

등급 한도를 코드 천장으로 둔 이유는 두 가지입니다. 등급이 오를 때 사람이 설정값을 고칠 필요가 없고, 누가 어떤 값을 넣어도 네이버 한도를 넘지 못합니다. 계정 제재 신호가 잡힌 날 상한을 5건으로 자동으로 되돌리는 장치는 8월에 만든 그대로 유지합니다.

이 원복 장치가 무엇을 제재 신호로 세는지도 중요합니다. 그날 로그에 CAPTCHA 실패, 신원 확인 요구, 로그인 만료 3회 이상처럼 계정을 겨냥한 거부가 있으면 상한을 내립니다. 질문이 삭제되거나 브라우저가 멈추는 일은 세지 않습니다. 둘을 섞으면 기술 장애가 날 때마다 상한이 내려가고, 결국 사람이 장치를 꺼 버리기 때문입니다. 발행량을 늘리는 이번 조치는 이 장치가 이미 코드로 돌고 있었기에 가능했습니다.

검토했지만 고르지 않은 대안도 남깁니다. 키워드 API로 신선한 질문을 찾는 안은 하루 2.3건이라 버렸습니다. 전 분야에서 채택 트랙을 돌리는 안은 사실 오류 위험 때문에 버렸습니다. 답변 간격을 2시간에서 30분으로 바로 줄이는 안과 계정을 여러 개 운영하는 안은 대표가 직접 정할 사안이라 보류했고, 계정 수보다 등급을 먼저 올리는 쪽을 권했습니다.

재측정 결과: 첫 라이브에서 초안 3건이 모두 떨어졌다

첫 라이브 사이클 결과는 실패였습니다. 채택 트랙이 쓴 초안 3건이 품질 검사에서 3건 모두 떨어졌습니다. 길이가 305~313자로 300자 목표를 넘었고, 질문과의 관련성 점수가 6~7% 구간에서 걸렸습니다. “짧게 쓰라고 지시하면 짧게 쓴다”는 가정이 첫 사이클에서 바로 깨졌습니다.

수리를 PR #613으로 올리고 다시 돌렸습니다. 재사이클에서는 초안 3건 중 2건이 통과했고, 그중 1건을 2026년 9월 15일 오후 10시 31분에 첫 게시로 올렸습니다. 작성 24시간 이내 질문에 단 답변입니다.

이 과정에서 다른 실수도 하나 드러났습니다. PR #613을 머지할 때 테스트 실행 결과를 화면에 줄여 보여 주려고 tail 명령을 파이프로 이어 붙였는데, 그 tail이 pytest의 실패 종료 코드를 삼켰습니다. 실패한 테스트가 있었는데도 다음 단계로 넘어가 머지까지 진행했고, 바로 PR #614로 고쳤습니다. 테스트 결과는 파일로 받아 종료 코드로 분기해야 한다는 교훈을 남겼습니다.

남는 한계: 채택률은 아직 판정 전이다

이 글에서 가장 중요한 숫자인 채택률의 재측정 결과는 아직 없습니다. 이 기록이 담은 것은 구조를 바꾼 날의 상태와 첫 라이브 결과까지입니다. 질문 나이를 바꾸면 채택률이 따라 오른다는 것은 비교 운영사의 실측에서 얻은 방향이지, 저희 계정에서 확인한 결과가 아닙니다.

그래서 판정 기준을 미리 숫자로 적어 두었습니다. 2026년 9월 29일 기준으로 채택 트랙 게시가 40건 이상이고 채택률이 15% 이상이거나 중수에 도달하면, 하루 총상한·답변 간격·분야를 넓히는 안을 올립니다. 반대로 채택률이 5% 미만이면 채택 트랙의 하루 몫을 0으로 내려 끕니다. 판정 전에 상한 조정안을 먼저 올리지 않은 이유도 같습니다. 근거가 될 숫자가 없는 결정 안건은 2주 동안 아무도 답하지 않는 채로 남기 쉽습니다.

판정 기준을 이렇게 양쪽으로 적은 이유는 8월의 실수 때문입니다. 25건에서 0건이 나왔을 때 저희는 그것을 신호로 읽었지만, 그 표본에서는 차이가 없어도 0건이 나올 확률이 60%였습니다. 게시 40건이라는 하한을 둔 것은 2.8%와 15%를 구분할 만큼 표본이 쌓이기 전에는 결론을 내지 않겠다는 뜻입니다. 숫자가 나오기 전에 성공과 실패의 선을 먼저 그어 두면, 결과를 본 뒤 기준을 슬쩍 옮기는 일도 막을 수 있습니다.

• 채택률 판정 전: 신선한 질문이 채택률을 올린다는 근거는 아직 외부 비교 수치뿐이다
• 노출 위험 증가: 하루 발행량 7건→10건, 슬롯 8개로 자동 게시가 눈에 띄는 정도가 커졌다. 제재 신호 시 5건 자동 원복으로 막아 둔 상태다
• 분야 밖 답변: 채택 트랙 답변은 프로필 이름이 붙은 채 본업 밖 질문에도 나간다. 분야를 인접 14개로 좁혀 줄였을 뿐 없애지는 못했다
• 표본 크기: 첫 사이클은 초안 3건, 재사이클 3건이라 통과율을 말하기엔 작다. 2/3은 방향 확인용 숫자다

돌아보면 이번 개선의 핵심은 새 기술보다 측정 순서였습니다. 낮은 채택률을 보고 곧장 답변 문장을 다듬지 않고, 비교 기준을 먼저 구한 덕에 질문 나이라는 변수가 드러났습니다. 비슷한 자동 답변이나 콘텐츠 자동화를 운영하면서 결과 숫자가 움직이지 않는다면, 문장보다 입력이 어디서 오는지부터 재 보시길 권합니다. 이런 자동화 파이프라인 설계가 필요하시면 상담으로 문의해 주세요.