지식인 등급 상한을 코드 천장으로, 하루 답변 7건을 10건으로

답변은 매일 상한까지 올라가는데 왜 지식인 등급은 그대로였나?

문제는 발행량이 아니라 채택이었습니다. 지식iN에서 답변자의 하루 답변 수는 지식인 등급이 정합니다. 이 글을 쓸 무렵 기준으로 초수는 하루 30건, 중수는 50건, 고수는 100건까지 답할 수 있습니다. 저희는 이보다 훨씬 낮은 자체 상한을 따로 두고 운영했습니다. 계정이 제재를 받으면 회사 이름을 알리는 통로가 통째로 막히기 때문입니다.

자체 상한은 처음 하루 5건이었습니다. 2026년 8월 13일부터 24일까지 12일 연속으로 이 상한에 닿았고, 올리지 못한 대기 답변이 15~18건씩 쌓였습니다. 비용은 크론과 AI 호출 정도라 거의 0에 가까웠고, 한번 올린 답변은 지우지 않는 한 계속 남습니다. 그래서 8월 25일에 상한을 5건에서 7건으로 올렸습니다. 이때 계정을 향한 거부 신호(로그인 보안 문자 실패·신원 확인 요구·로그인 만료 3회 이상)가 오늘 기록에 있으면 그날 상한을 5건으로 스스로 내리는 장치도 코드로 넣었습니다.

그런데 답을 매일 상한까지 올려도 계정 프로필의 숫자는 거의 움직이지 않았습니다. 프로필 페이지에는 “중수까지 남은 채택 답변 15”라고 적혀 있었습니다. 채택 15건만 더 받으면 하루 50건까지 답할 수 있는 등급인데, 그 15건이 쌓이지 않았습니다. 하루 7건씩 올리는 답변이 등급으로 이어지지 않는다면, 상한을 더 올려도 같은 자리를 맴돌 뿐이었습니다.

계정 수는 방안만 고민하고, 하루 발행량과 질문 신선도의 격차는 인프라로 메운다. (2026년 9월 15일 대표 지시)

이 지시가 이번 개선의 범위를 정했습니다. 계정을 늘리는 길은 검토만 하고, 실제 손은 발행량과 질문 신선도를 만드는 코드와 예약 작업에 대기로 했습니다.

처음 잰 숫자: 채택률 2.8%, 질문 나이 중앙값 141일

숫자는 세 군데에서 쟀습니다. 첫째는 저희가 올린 답변 전체를 질문 작성일 기준으로 다시 센 결과입니다. 둘째는 같은 시장에서 답을 많이 다는 아정당을 대상으로 한 답변 전수 조사입니다. 셋째는 네이버 지식iN 프로필 페이지(myinfo)에 찍히는 “중수까지 남은 채택 답변” 값입니다. 앞의 둘은 채택이 어떤 질문에서 일어나는지, 마지막은 등급까지 얼마나 남았는지를 알려 줍니다.

저희 발행분에서 질문 나이 중앙값은 141일이었습니다. 질문이 올라오고 넉 달 반쯤 지난 뒤에 답을 단 셈입니다. 작성 7일 이내 질문에 단 답변은 3건뿐이었고 그 3건의 채택은 0건이었습니다. 전체 채택률은 2.8%였습니다.

전수 조사에서 나온 대비는 훨씬 뚜렷했습니다. 질문이 올라온 날 단 답변은 27.0%가 채택을 받았고, 8일 이상 지난 질문에 단 답변은 0~1.5%에 그쳤습니다. 저희 채택률 2.8%는 이 두 구간 사이, 그것도 오래된 질문 쪽에 붙어 있었습니다.

측정 방법도 적어 둡니다. 채택률은 저희 발행 기록에서 채택된 답변 수를 게시한 답변 수로 나눈 값이고, 질문 나이는 답을 게시한 시각에서 질문 작성 시각을 뺀 값입니다. 프로필 값은 매일 아침 페이지를 읽어 저장하는 측정 스크립트가 남긴 기록입니다.

세운 가설: 상한을 올리고 프롬프트에 “최신 우선”을 적으면 된다고 봤다

처음 세운 가설은 두 개였습니다. 하나는 하루 상한 자체가 병목이라는 가설입니다. 12일 연속 상한에 닿았고 대기 답변이 15~18건 쌓여 있었으니, 상한만 풀면 게시량이 늘고 채택도 그만큼 늘어날 거라고 봤습니다. 이 가설에 따라 8월 25일에 5건을 7건으로 올렸고, 다음 단계인 10건은 9월 22일 재측정에서 판단하기로 했습니다.

다른 하나는 답변을 쓰는 AI에게 최신 질문을 먼저 고르라고 지시하면 질문 나이가 내려간다는 가설입니다. 실제로 초안 작성 지시문에는 “최신 우선”이라는 문장이 이미 들어 있었습니다. 질문 후보는 키워드 검색으로 모으고, 그 안에서 최신 질문을 고르면 된다는 생각이었습니다.

이 전제에는 근거가 있어 보였습니다. 7월 말에 하루 신규 질문 유입이 15건에서 2건으로 급감한 적이 있는데, 원인을 찾아보니 고정 키워드 13개 중 2개가 이미 판매를 멈춘 서비스를 겨냥하고 있었고, 정작 매출 비중이 큰 홈페이지 제작·AI 챗봇·블로그 운영 대행에는 키워드가 하나도 없었습니다. 키워드를 21개로 늘리자 바로 다음 수집에서 후보가 2건에서 92건으로 46배 늘었습니다. 키워드를 손보면 질문이 따라온다는 경험이 이때 생겼습니다.

• 가설 1: 하루 상한이 병목이다 → 상한을 올리면 채택이 비례해서 는다
• 가설 2: 지시문에 “최신 우선”을 적으면 질문 나이가 내려간다
• 공통 전제: 질문 후보는 키워드 검색으로 충분히 모인다

두 가설 모두 “질문은 충분히 있고, 고르는 방식과 양만 바꾸면 된다”는 전제 위에 서 있었습니다. 이 전제가 맞는지는 따로 재지 않았습니다.

가설이 틀린 지점: 발행량을 늘려도 낡은 질문만 늘었다

가설 2는 이미 결과가 나와 있었습니다. “최신 우선” 지시가 들어간 상태로 쌓인 답변의 질문 나이가 중앙값 141일이었습니다. 지시문이 고를 수 있는 후보 안에 새 질문이 거의 없으면, 아무리 최신을 고르라고 해도 고를 것이 없습니다. 프롬프트를 고쳐서 풀 문제가 아니었습니다.

가설 1도 같은 이유로 무너졌습니다. 상한을 5건에서 7건으로 올려 게시량이 40% 늘어도, 늘어난 답변은 같은 낡은 질문 더미에서 나옵니다. 8일 이상 지난 질문의 채택률이 0~1.5%라면 게시를 늘려도 채택은 거의 늘지 않습니다. 상한은 병목처럼 보였지만, 실제로는 채택이 안 붙는 답변을 더 빨리 쌓는 장치였습니다.

돌아보면 7월의 경험이 가설을 키웠습니다. 키워드를 늘려 후보가 46배 늘었을 때 저희가 본 숫자는 후보의 개수였고, 후보의 나이는 보지 않았습니다. 후보가 92건이어도 그 대부분이 몇 달 묵은 질문이면 채택 쪽에서는 거의 같은 결과가 나옵니다. 개수와 신선도는 다른 축이었고, 저희는 한 축만 재고 있었습니다.

하나 더 남깁니다. 이 무렵 저희는 “구매 의도가 담긴 질문 25건에 답했는데 채택 0건이니 그런 질문은 전멸”이라는 분석도 냈습니다. 다시 계산하니 기저 채택률 2.04%에서 25건의 기대 채택은 0.51건이었고, 차이가 전혀 없어도 0건이 나올 확률이 약 60%(0.597)였습니다. 신호가 아니었습니다. “질문 13%가 우리 서비스와 무관”이라는 집계도 대소문자 처리 버그 때문에 부풀려진 값이었고, 손으로 읽으니 무관한 질문은 4건(4.1%), 대상 정확도는 95.9%였습니다. 질문을 고르는 기준은 잘 맞고 있었고, 틀린 쪽은 질문의 나이였습니다.

진짜 원인은 무엇이었나: 질문을 가져오는 곳이 새 질문을 공급하지 못했다

원인은 답변 품질도, 상한도 아닌 공급원이었습니다. 키워드 검색으로 질문을 모으면 7일 이내 질문은 하루 4.4건뿐이었습니다. 하루 7건, 10건을 올리려 해도 새 질문은 그만큼 들어오지 않았고, 모자란 자리는 오래된 질문이 채웠습니다.

공급원을 바꿀 후보로 네이버 지식iN 검색 API의 키워드 검색도 쟀습니다. 이쪽에서 나오는 신선한 질문은 하루 2.3건으로 더 적었습니다. 키워드에서 출발하는 방식은 어느 통로를 쓰든 오래 쌓인 질문을 위로 올려 줬습니다.

반대로 지식iN 분야별 최신 질문 목록은 질문이 올라오는 순서 그대로 보여 줍니다. 로그인하지 않아도 HTML로 열립니다. 저희가 그동안 답해 온 질문들이 속한 하위 분야만 골라도 14개였습니다. 이 목록에서 작성 24시간 이내이고 아직 답변이 1개 이하인 질문을 긁으면, 채택이 일어나는 구간에 바로 들어갈 수 있었습니다.

정리하면 채택은 질문이 살아 있을 때만 일어나고, 질문이 살아 있는지는 공급원과 예약 실행 주기가 정합니다. 앞의 분석에서 같은 결론을 지식인 채택률 2.8%의 원인으로 따로 정리해 두었습니다.

조치: 당일 질문 경로를 새로 열고 지식인 등급 상한을 코드 천장으로 묶었다

조치는 다섯 가지였습니다. 기존 키워드 경로는 그대로 두고, 그 옆에 당일 질문만 받는 두 번째 경로를 붙였습니다. 기존 경로는 검색 노출을, 새 경로는 채택을 맡습니다.

• 채택 경로 신설: 하위 분야 14개의 최신 질문 목록에서 작성 24시간 이내·답변 1개 이하 질문을 수집하고, 답할 수 있는 질문인지 판정한 뒤 60~300자 직답을 쓴다. 회사 이름은 0회
• 품질 검사: 글자 수 상한 400자, 질문과 답의 관련성 5% 이상 + 겹치는 단어 2개 이상
• 하루 자체 상한 7건 → 10건, 그중 채택 경로 몫 6건
• 지식인 등급 상한(초수 30·중수 50·고수 100)을 코드가 읽어 어떤 설정값도 넘지 못하는 천장으로 사용
• 크론을 08~22시 8슬롯으로 교체(매 슬롯 채택 경로, 08시에는 키워드 수집), 프로필 측정은 매일 07:10

등급 상한을 코드에 묶은 이유는 두 가지입니다. 등급이 오르면 사람이 값을 고치지 않아도 천장이 같이 올라갑니다. 그리고 누가 설정값을 실수로 크게 넣어도 네이버가 허용하는 수를 넘지 못합니다. 자체 상한 10건은 이 천장 아래에서 움직이는 다이얼입니다.

코드에서 그날 실제로 쓰는 상한은 세 값 중 가장 작은 값입니다. 네이버 등급 상한, 운영자가 정한 자체 상한, 그리고 계정 거부 신호가 있는 날의 5건입니다. 등급별 상한표(초수 30·중수 50·고수 100)는 코드 안에 한 곳만 두고, 등급이 오르면 천장도 그 표를 따라 바로 올라갑니다. 덕분에 설정 파일의 숫자 하나를 바꾸는 일이 네이버 규칙을 어기는 사고로 번질 길이 막힙니다.

슬롯을 8개로 늘린 데에도 이유가 있습니다. 게시 작업은 한 건을 올린 뒤 2시간 남짓을 무작위로 쉬고 다음 건을 올립니다. 8월에 상한을 7건으로 올릴 때도 슬롯 3개로는 하루 안에 다 올릴 시간이 모자라 4개로 늘렸습니다. 당일 질문은 몇 시간만 지나도 다른 답변이 먼저 붙기 때문에, 하루에 한두 번 몰아서 수집하면 신선도를 다시 잃습니다. 08~22시에 슬롯을 고르게 깔고 매 슬롯마다 채택 경로가 새 질문을 다시 긁게 했습니다.

일부러 바꾸지 않은 값도 있습니다. 게시 간격 하한 2시간, 채택 경로를 인접 분야로만 돌리는 범위, 총상한 10건은 그대로 뒀습니다. 이 세 값은 9월 29일 판정 수치를 보고 한꺼번에 조정하기로 했습니다. 지금 조정안을 올리면 근거 숫자가 없어 2주 동안 아무도 판단하지 못한 채 묵힐 가능성이 컸습니다.

기각한 대안도 넷이었습니다. 키워드 API로 신선 질문을 찾는 방법은 하루 2.3건이라 버렸습니다. 모든 분야에 채택 경로를 여는 방법은 답변에 회사 프로필 이름이 붙고 본업 밖 질문에서 사실 오류가 날 위험이 커서 미뤘습니다. 게시 간격을 2시간에서 30분으로 줄이는 방법은 대표가 정한 하한이라 손대지 않았습니다. 계정을 여러 개 쓰는 방법은 검토만 하고, 등급을 먼저 올리는 쪽을 택했습니다.

재측정 결과: 첫 사이클 초안 3건은 어떻게 됐나?

첫 라이브 사이클에서 만든 초안 3건은 모두 품질 검사에서 떨어졌습니다. 글자 수가 305~313자로 300자 목표를 넘었고, 질문과의 관련성 점수는 6~7%에 머물렀습니다. 짧게 쓰라고 정한 길이와 관련성 판정이 실제 초안과 맞지 않았습니다.

작성 규칙과 검사를 고쳐 다시 돌리자 3건 중 2건이 통과했고, 그중 1건이 2026년 9월 15일 22:31에 첫 게시로 올라갔습니다. 0/3에서 2/3으로 올라간 셈입니다.

재측정은 발행 단계별 건수를 세는 집계 명령(파이프라인의 funnel 보고)으로 했습니다. 수집한 질문, 답할 수 있다고 판정한 질문, 초안, 품질 검사 통과, 게시까지를 경로별로 나눠 셉니다. 앞으로의 채택률 판정도 같은 명령의 당일 경로 숫자로 내립니다. 측정 방법을 미리 고정해 두어야 나중에 숫자가 나왔을 때 해석을 두고 다투지 않습니다.

수리 과정에서 사고가 하나 더 났습니다. 검사 명령을 이어 붙인 체인 끝에 출력을 자르는 tail이 있었는데, 이 tail이 pytest의 종료 코드를 삼켰습니다. 테스트가 실패해도 체인 전체는 성공으로 끝났고, 실패한 테스트를 안은 수정이 그대로 머지됐습니다. 바로 다음 수정에서 종료 코드를 살려 바로잡았습니다. 출력을 다듬는 한 줄이 검사를 무력화할 수 있다는 점을 이번에 배웠습니다.

남는 한계: 무엇이 아직 판정 전인가?

이 글의 재측정은 첫 사이클까지입니다. 채택 경로가 실제로 채택률을 올렸는지는 이 기록 시점에 아직 숫자가 없습니다. 그래서 판정 기준을 미리 정해 두었습니다. 채택 경로 게시가 40건 이상 쌓이고 채택률이 15% 이상이거나 중수에 도달하면 발행량(총상한·간격·분야)을 넓히는 안을 올립니다. 채택률이 5% 미만이면 채택 경로의 하루 몫을 0으로 내립니다.

위험도 늘었습니다. 하루 7건이 10건이 되고 예약 슬롯이 8개로 늘면서 자동 게시가 눈에 띌 가능성도 커졌습니다. 계정 거부 신호가 보이면 그날 상한을 5건으로 내리는 장치는 그대로 살아 있지만, 그 장치가 막는 범위는 계정을 향한 거부 신호까지입니다. 질문 쪽 사정이나 브라우저 장애는 제재로 세지 않습니다. 둘을 섞으면 기술 장애가 날 때마다 상한이 내려가 장치가 사실상 꺼지기 때문입니다.

채택 경로의 답변은 회사 프로필 이름을 단 채 본업 밖 질문에도 나갑니다. 분야를 인접 14개로 좁혀 완화했지만, 사실 오류 위험이 0은 아닙니다. 품질 검사가 글자 수와 관련성을 보지만, 답의 사실 여부까지 보지는 못합니다.

이 파이프라인에는 사람이 게시 전에 승인하는 단계가 없습니다. 7월에 승인 대기 단계를 없앴는데, 길이·회사 이름 언급·금지 문구·외부 링크를 보는 품질 검사 4종이 이미 걸러 내고 있어 사람 검토가 지연만 늘렸기 때문입니다. 그 대신 품질 검사의 정밀도가 잘못된 답을 막는 유일한 방어선이 됐습니다. 이번 사이클에서 검사 결과를 넘겨받는 체인이 종료 코드를 삼킨 사고가 특히 아팠던 이유가 여기 있습니다.

마지막으로 공급원 이야기는 분야마다 다를 수 있습니다. 저희는 키워드 수집으로 하루 4.4건, API로 2.3건을 쟀지만, 질문이 많이 올라오는 분야라면 키워드만으로도 충분할 수 있습니다. 먼저 자기 발행분의 질문 나이 중앙값을 재 보길 권합니다.

지식인 등급을 올리려는 답변자가 가져갈 것은 무엇인가?

지식인 등급은 하루 답변 수의 천장을 정하고, 그 천장을 올리는 것은 채택입니다. 채택은 질문 나이에 크게 묶여 있어서, 당일 질문에서 27.0%였던 값이 8일 이상 지나면 0~1.5%로 떨어졌습니다. 답을 더 많이 다는 것보다 새 질문에 먼저 닿는 것이 등급에 가깝습니다.

• 자기 답변의 질문 나이 중앙값부터 잰다. 저희는 141일이었다
• 질문 공급원이 하루에 새 질문을 몇 건 주는지 센다. 키워드 수집 4.4건, API 2.3건이었다
• 하루 상한은 등급 상한을 천장으로 두고 그 아래에서 단계적으로 올린다(5→7→10건)
• 품질 검사의 종료 코드가 파이프라인 끝까지 살아 있는지 확인한다

지식iN 같은 채널을 자동화하거나, 사내 업무에 비슷한 예약 작업 파이프라인을 붙이려는 경우 상담에서 구조를 함께 볼 수 있습니다.