지식인 하루 답변 제한은 왜 우리 문제였나?
지식인 하루 답변 제한은 한 겹이 아니라 두 겹이고, 저희에게 걸려 있던 것은 네이버가 정한 바깥 상한이 아니라 저희가 스스로 정한 안쪽 상한이었습니다. 지식iN은 답변자 등급마다 하루에 달 수 있는 답변 수를 다르게 둡니다. 저희가 확인한 값은 초수 30건, 중수 50건, 고수 100건입니다. 저희 자동 파이프라인은 그보다 훨씬 낮은 자체 상한을 따로 두고 운영했고, 2026년 8월 25일 이전에는 그 값이 하루 5건이었습니다.
자체 상한을 낮게 둔 이유는 계정 제재입니다. 사람이 아니라 스크립트가 답을 올리기 때문에, 하루에 몰아서 많이 올리면 계정이 제재를 받을 위험이 커집니다. 반대로 상한이 너무 낮으면 쓸 만한 초안이 대기열에 쌓인 채 질문이 낡아 갑니다. 질문은 시간이 지나면 질문자가 떠나고, 떠난 질문에 단 답변은 채택을 받기 어렵습니다.
이 채널은 비용 구조가 독특합니다. 실제로 드는 돈은 크론과 LLM 호출 정도라 거의 0에 가깝고, 올린 답변은 지우지 않는 한 계속 남습니다. 그래서 회사 안에서 “성과가 아직 0이니 줄이자”는 권고가 나왔을 때, 대표는 “비용이 크게 들지도 않는데 없애기보다 오히려 확장해야 한다”며 기각했습니다. 비용이 0에 가까운 누적 자산은 회수가 아직 0이라는 이유만으로 줄일 대상이 아니라는 판단입니다. 이 글은 그 뒤에 하루 상한을 어떻게 올렸고, 올리면서 무엇을 코드에 맡겼는지를 다룹니다.
같은 사건의 다른 면, 즉 질문을 어디서 가져오느냐를 바꾼 이야기는 지식인 자동 답변, 하루 상한보다 질문 공급원이 먼저였다에 따로 정리했습니다. 이 글은 상한 숫자와 그 숫자를 지키는 장치에 집중합니다.
처음 잰 숫자: 12일 연속 상한 도달과 대기 답변 15~18건
상한을 올릴지 말지는 감이 아니라 발행 기록으로 판단했습니다. 측정 방법은 단순합니다. 날짜별로 그날 발행 건수가 자체 상한에 닿았는지, 품질 검사를 통과하고도 발행을 못 해 대기열에 남은 초안이 몇 건인지를 셌습니다. 2026년 8월 13일부터 24일까지 12일 동안 하루도 빠짐없이 상한 5건에 닿았고, 대기열에는 초안이 15~18건 쌓여 있었습니다. 같은 기간 질문 후보 공급은 후보 상한 10건 안에서 최대 10건이었습니다.
| 항목 | 측정값 | 잰 방법 |
|---|---|---|
| 자체 상한 도달 | 12일 연속 (8월 13일~24일) | 날짜별 발행 건수와 상한 비교 |
| 대기열 적체 | 15~18건 | 품질 검사 통과 후 미발행 초안 수 |
| 후보 공급 | 최대 10건 | 후보 상한 10건 안에서 하루 수집 건수 |
| 채택률 | 2.8% | 저희 발행분 전체의 채택 비율 |
| 질문 나이 중앙값 | 141일 | 답변을 단 질문의 작성 시각부터 답변 시각까지 |
| 7일 이내 질문 | 3건 (채택 0건) | 발행분을 질문 작성 시각 기준으로 재집계 |
숫자만 보면 결론이 쉬워 보였습니다. 상한에 매일 닿고 대기열이 쌓이니 병목은 상한이고, 상한을 올리면 발행이 늘고 채택도 따라 늘 것이라는 결론입니다. 그런데 표 아래쪽 세 줄은 그 결론과 맞지 않았습니다. 채택률은 2.8%였고, 답을 단 질문의 나이는 중앙값 141일이었으며, 작성 7일 이내 질문에 단 답은 3건뿐이었고 그마저 채택이 0건이었습니다.
이때 지식iN 프로필 화면도 함께 확인했습니다. 화면에는 “중수까지 남은 채택 답변 15”라는 문구가 떠 있었습니다. 채택을 15건만 더 받으면 등급이 초수에서 중수로 오르고, 네이버 쪽 하루 한도도 30건에서 50건으로 늘어난다는 뜻입니다. 저희 자체 상한은 어느 쪽이든 네이버 한도의 한참 아래였기 때문에, 이 숫자는 당장의 발행량보다 “채택을 어떻게 받나”라는 질문을 더 크게 만들었습니다.
세운 가설: 상한을 올리면 발행과 채택이 같이 오른다
첫 가설은 앞에서 말한 그대로입니다. 병목이 발행 상한이니 상한을 올리면 대기열이 풀리고, 발행이 늘어나는 만큼 채택도 늘어난다는 가설입니다. 12일 연속 상한 도달이라는 기록이 이 가설을 강하게 받쳐 줬습니다.
다만 상한을 한 번에 크게 올리지는 않기로 했습니다. 운영 규칙에 미리 적어 둔 경로가 단계 상향(5건→7건→10건)이었기 때문입니다. 5건에서 바로 10건으로 가면, 제재가 났을 때 그 원인이 상한인지 같은 시기의 다른 변경인지 가를 수 없습니다. 그래서 2026년 8월 25일에 먼저 7건으로 올리고, 7건으로 4주를 돌린 실측을 보고 다음 단계를 정하기로 했습니다.
이 시기에는 반대 방향의 가설도 하나 있었습니다. 채널을 오히려 줄여야 한다는 가설입니다. 회사 안 분석 두 건이 그 근거였습니다. 하나는 “구매 신호가 담긴 질문 25건에 답했는데 채택 0건이니 이 영역은 전멸”이라는 해석, 다른 하나는 “답변 대상 질문의 13%가 판매 서비스와 무관하다”는 해석입니다. 이 두 가설은 아래에서 둘 다 무너집니다. 지우지 않고 남기는 이유는, 같은 실수가 다른 채널에서도 그대로 반복되기 쉬워서입니다.
- 가설 1: 병목은 자체 상한이다. 상한을 올리면 발행과 채택이 함께 오른다
- 가설 2(축소 쪽): 구매 신호 질문 25건 채택 0건은 전멸 신호다
- 가설 3(축소 쪽): 답변 대상의 13%가 판매 서비스와 무관하니 질문을 잘못 고르고 있다
가설은 어디서 틀렸나?
축소 쪽 두 가설부터 무너졌습니다. 대표가 근거를 묻자 다시 계산했는데, 둘 다 숫자가 결론을 받치지 못했습니다.
“25건 채택 0건”은 우연으로 충분히 나오는 결과였습니다. 저희 전체 채택 기저율이 2.04%이면 25건에서 기대되는 채택은 0.51건입니다. 차이가 전혀 없어도 25건이 모두 채택을 못 받을 확률은 (1-0.0204)^25 = 0.597, 약 60%입니다. Fisher 정확검정으로 다시 봐도 p값은 1.000이었습니다. 신호가 아니라 표본이 작았을 뿐입니다.
“13% 무관”은 판정 코드의 버그였습니다. 무관 여부를 키워드로 판정했는데, 대문자 `AI` 로 등록한 키워드가 소문자 `ai` 를 잡지 못했고 판정 자체도 과소 쪽으로 기울어 있었습니다. 질문을 손으로 하나씩 읽어 보니 진짜 무관한 질문은 4건, 4.1%였습니다. 질문을 고르는 정확도는 95.9%로, 고르는 단계는 잘 맞히고 있었습니다.
차이가 없어도 60% 확률로 0이 나온다. 신호가 아니었다.
본 가설인 “상한을 올리면 채택도 오른다”는 7건으로 올린 뒤에 틀렸다는 사실이 드러났습니다. 발행 상한은 하루에 올릴 수 있는 수의 천장일 뿐, 올릴 질문의 품질을 바꾸지 못합니다. 문제는 그 천장 아래를 채우는 질문이 거의 다 낡은 질문이었다는 점입니다. 저희가 쓰던 키워드 기반 질문 수집으로는 작성 7일 이내 질문이 하루 4.4건밖에 들어오지 않았고, 네이버 키워드 검색 API로 신선한 질문만 따로 모으는 방법도 시험해 보니 하루 2.3건이었습니다.
그리고 같은 시장의 대형 답변 운영사 답변을 전수조사해 보니, 채택을 가르는 1순위 요인이 질문의 신선도였습니다. 질문이 올라온 당일에 단 답변은 27.0%가 채택을 받았고, 8일이 지난 뒤에 단 답변은 0~1.5%에 그쳤습니다. 저희 질문 나이 중앙값 141일은 이 표의 맨 끝보다도 한참 뒤였습니다. 채택률 2.8%는 그 하나로 거의 다 설명할 수 있었습니다.
진짜 원인: 상한이 아니라 상한을 채울 신선한 질문이 없었다
정리하면 병목은 두 군데였습니다. 하나는 실제로 발행 상한이었습니다. 12일 연속 상한 도달과 대기열 15~18건은 진짜였고, 상한을 올릴 이유는 충분했습니다. 다른 하나는 그 상한을 무엇으로 채우느냐였습니다. 낡은 질문으로 상한을 채우면 발행량은 늘어도 채택은 거의 늘지 않습니다.
흥미로운 점은 AI에게 주는 지시문에 이미 “최신 질문 우선”이라는 문장이 있었다는 사실입니다. 지시는 있었고 결과는 141일이었습니다. 질문 나이는 AI가 고르는 단계가 아니라, 그 앞에서 어떤 질문이 들어오느냐로 정해집니다. 그래서 문제를 프롬프트가 아니라 질문 공급원과 크론 슬롯 주기의 문제로 다시 정의했습니다.
상한 값 자체에도 구조적인 문제가 하나 숨어 있었습니다. 자체 상한은 사람이 코드 상수로 고치는 값이었습니다. 등급이 올라 네이버 한도가 바뀌어도 사람이 기억해서 손대야 했고, 반대로 누군가 상한을 크게 잡으면 네이버 한도를 넘는 값도 그대로 들어갈 수 있었습니다. 상한을 올리는 순간이 바로 이 구멍이 열리는 순간이라, 숫자를 올리기 전에 천장부터 코드에 넣기로 했습니다.
어떻게 바꿨나: 세 겹 상한과 두 발행 경로
2026년 9월 15일 변경에서 하루 상한은 세 겹으로 정리했습니다. 가장 바깥이 네이버 등급 상한, 그 안이 저희 총상한, 가장 안쪽이 제재 신호가 보일 때의 원복 값입니다.
- 네이버 등급 상한(코드 이름 GRADE_DAILY_CAP): 초수 30건, 중수 50건, 고수 100건. 코드가 등급을 읽어 이 값을 천장으로 쓴다. 등급이 오르면 사람이 고치지 않아도 천장이 따라 오르고, 총상한에 어떤 값을 넣어도 이 천장을 넘지 못한다
- 총상한(MAX_DAILY_PUBLISH): 7건에서 10건으로. 그중 6건은 새로 만든 “채택 경로” 몫
- 원복 상한: 그날 기록에 계정을 겨냥한 거부(자동입력 방지 문자 실패, 신원 확인 요구, 로그인 만료 3회 이상)가 있으면 그날 상한을 5건으로 자동으로 내린다
원복 조건을 고를 때는 무엇을 제재로 세지 않을지를 더 신경 썼습니다. 질문 쪽 사정(질문이 삭제됨 등)이나 브라우저 장애까지 제재 신호로 세면, 기술 장애가 날 때마다 상한이 내려가고 결국 이 장치가 꺼진 것과 같아집니다. 그래서 계정을 겨냥한 거부만 셉니다. 이 원복 장치는 8월 25일 5건→7건 단계에서 먼저 넣었는데, 사람이 로그를 읽어야 원복이 일어나는 구조로는 부족하다고 봤기 때문입니다. 이 파이프라인에는 채택 수치가 16일 동안 아무도 재지 않은 채 방치된 전례가 있었습니다.
질문 공급 쪽은 발행 경로를 둘로 나눴습니다. 기존 키워드 기반 경로는 “노출 경로”로 그대로 두고, “채택 경로”를 새로 만들었습니다. 채택 경로는 저희가 그동안 답해 온 하위 분야 14개의 최신 질문 목록을 로그인 없이 읽어, 작성 24시간 이내이면서 답변이 1개 이하인 질문만 가져옵니다. 초안은 AI가 답할 수 있는 질문인지 먼저 판정한 뒤, 브랜드 언급 0회의 60~300자 짧은 직답으로 씁니다. 품질 검사는 길이 상한 400자, 질문과의 관련성 5% 이상이면서 겹치는 단어 2개 이상을 요구합니다.
| 구분 | 노출 경로(기존) | 채택 경로(신설) |
|---|---|---|
| 질문 출처 | 키워드 검색 | 하위 분야 14개의 최신 질문 목록 |
| 질문 조건 | 키워드 일치 | 작성 24시간 이내 · 답변 1개 이하 |
| 답변 길이 | 기존 규칙 | 60~300자 직답 (검사 상한 400자) |
| 브랜드 언급 | 기존 규칙 | 0회 |
| 하루 몫 | 총상한 10건 중 나머지 | 6건 |
크론 슬롯도 다시 짰습니다. 8월 25일 단계에서 발행 슬롯을 3개에서 4개로 늘렸는데(08:30 추가), 발행 배치가 한 건마다 2시간에 무작위 지연을 더해 쉬기 때문에 슬롯 3개로는 하루 안에 상한을 다 채울 시간이 모자랐기 때문입니다. 9월 15일에는 이를 08시부터 22시까지 8개 슬롯으로 바꿨습니다. 슬롯마다 채택 경로가 돌고, 08시 슬롯에서만 키워드 수집을 함께 돌립니다. 등급을 읽는 프로필 확인 작업은 매일 07:10에 먼저 돕니다. 답변 사이 최소 간격 2시간은 대표가 정한 하한이라 손대지 않았습니다.
기각한 대안은 무엇이었나?
이번 변경에서 버린 선택지도 함께 남깁니다. 같은 상황에서 먼저 떠오르는 방법들이라, 왜 버렸는지가 결론만큼 쓸모 있습니다.
| 대안 | 기각 이유 |
|---|---|
| 상한 5건→10건 한 번에 | 제재가 나면 원인이 상한인지 다른 변경인지 가를 수 없다. 7건으로 4주 실측을 먼저 본다 |
| 네이버 키워드 검색 API로 신선한 질문 수집 | 시험해 보니 하루 2.3건이라 공급량이 모자란다 |
| 모든 분야에 채택 경로 | 답변에 회사 프로필명이 붙은 채 본업과 먼 질문에 나가고, 사실 오류 위험도 커진다 |
| 답변 간격 2시간→30분 즉시 단축 | 대표가 정한 하한이다. 판정 수치를 보고 조절 항목으로 올린다 |
| 계정 여러 개 운영 | 방안만 검토하고 보류했다. 권장은 등급부터 올리기 |
| 상한 그대로, 확장은 프로필 쪽만 | 실측 병목이 발행 상한이었으므로 맞지 않다 |
특히 다계정은 숫자만 보면 가장 빠른 길처럼 보입니다. 하지만 등급이 한 단계만 올라도 네이버 한도가 30건에서 50건으로 늘어나고, 그때 필요한 채택은 15건이었습니다. 계정 수를 늘리기 전에 한 계정의 등급을 올리는 쪽이 위험도 작고 효과도 분명했습니다.
재측정 결과: 첫 사이클 0/3, 수리 뒤 2/3
변경을 올린 2026년 9월 15일 첫 라이브 사이클은 실패했습니다. 채택 경로 초안 3건이 모두 품질 검사에서 떨어졌습니다. 초안 길이가 305~313자로 당시 길이 기준을 넘었고, 질문과의 관련성은 6~7%에 머물렀습니다. 짧은 직답을 쓰라고 해도 AI는 조금씩 길게 쓰는 쪽으로 기울었습니다.
검사 기준과 초안 지시를 고친 뒤 같은 날 다시 돌렸고, 이번에는 3건 중 2건이 통과해 1건을 22:31에 실제로 게시했습니다. 지금 설정이 앞에서 적은 “본문 60~300자, 검사 상한 400자, 관련성 5% 이상과 겹치는 단어 2개 이상”입니다.
수리 과정에서 한 번 더 실수가 있었습니다. 수리 변경을 머지할 때, 테스트를 돌리는 명령 체인 끝에 출력 일부만 보여 주는 `tail` 이 붙어 있었습니다. 파이프 마지막 명령의 종료 코드가 체인 전체의 종료 코드가 되기 때문에, pytest가 실패해도 `tail` 이 성공으로 끝나면 체인은 성공으로 보입니다. 그 결과 실패한 테스트를 안고 머지가 이루어졌고, 바로 다음 변경에서 바로잡았습니다. 상한 같은 안전장치를 코드에 넣어 놓고, 그 코드를 검사하는 장치가 조용히 꺼져 있었던 셈입니다.
앞 단계인 5건→7건 변경은 테스트 61건 통과(그중 신규 13건)로 머지했고, 원복 로직과 슬롯 추가를 그 테스트가 받쳤습니다. 7건 단계의 효과는 9월 22일 프로필 재측정에서 보기로 했고, 10건 단계와 채택 경로의 효과는 9월 29일에 판정하기로 일정을 박아 두었습니다.
남는 한계는 무엇인가?
가장 큰 한계는 채택 경로의 효과를 아직 이 글 안에서 판정하지 못한다는 점입니다. 판정 기준은 미리 숫자로 정해 두었습니다. 채택 경로로 게시한 답변이 40건 이상이고 채택률이 15% 이상이거나 등급이 중수에 닿으면, 총상한·간격·분야를 넓히는 조절 안건을 올립니다. 반대로 채택률이 5% 미만이면 채택 경로 몫을 0으로 내립니다. 판정 전에 조절 안건을 먼저 올리지 않은 이유도 있습니다. 근거 수치 없이 올린 안건은 14일 동안 아무도 답하지 않은 채 쌓이기 쉽다는 경험 때문입니다.
등급이 중수에 닿아도 확장 조건으로 본다.
두 번째 한계는 노출입니다. 발행량이 7건에서 10건으로, 슬롯이 8개로 늘면서 자동화된 게시가 네이버 쪽에 더 많이 드러납니다. 8월 25일 단계에서도 상한을 40% 올리면 제재 노출도 그만큼 는다는 점을 감수했습니다. 원복 장치가 있지만, 그 장치는 이미 일어난 거부를 보고 반응할 뿐 제재를 미리 막지는 못합니다.
세 번째는 답변의 이름표입니다. 채택 경로 답변에도 회사 프로필명이 붙은 채 본업과 거리가 있는 질문에 나갑니다. 분야를 저희가 답해 온 인접 하위 분야 14개로 좁혀 완화했지만, 사실 오류가 한 건이라도 나면 그 이름으로 남습니다. 마지막으로 등급 상한 값(30·50·100)은 저희가 확인한 시점의 값이라, 네이버가 정책을 바꾸면 코드의 천장도 다시 맞춰야 합니다.
자동 게시 하루 상한을 설계한다면 무엇부터 확인해야 하나?
지식iN이 아니어도 플랫폼에 자동으로 글을 올리는 시스템이라면 구조는 비슷합니다. 저희가 이번에 거친 순서를 확인 항목으로 줄이면 아래와 같습니다.
- 플랫폼 한도를 상수로 박지 말고 코드가 읽는 천장으로 둔다: 자체 상한에 어떤 값을 넣어도 그 천장을 넘지 못하게
- 상한은 단계로 올린다: 한 단계마다 몇 주의 실측을 남겨야 제재가 났을 때 원인을 가를 수 있다
- 제재 신호로 셀 것과 세지 않을 것을 나눈다: 기술 장애까지 세면 원복 장치가 매일 켜져 사실상 꺼진다
- 상한에 닿는다는 기록만으로 병목을 단정하지 않는다: 그 상한을 무엇으로 채우는지(질문 나이 같은 품질 지표)를 같이 잰다
- 작은 표본의 0건은 기저율로 먼저 계산한다: 2.04% 기저율에서 25건 0건은 약 60% 확률로 나온다
- 테스트 체인 끝의 파이프가 종료 코드를 삼키지 않는지 확인한다
상한 숫자를 올리는 일은 한 줄이면 끝납니다. 어려운 쪽은 그 한 줄이 틀렸을 때 사람이 개입하지 않아도 안전한 쪽으로 돌아오게 만드는 일과, 상한에 닿는 이유가 정말 상한 때문인지 확인하는 일이었습니다. 질문 공급원을 바꾼 과정은 지식인 자동 답변, 하루 상한보다 질문 공급원이 먼저였다에 이어서 정리했습니다. 비슷한 자동 게시 파이프라인의 상한·원복 설계를 고민하고 있다면 상담으로 상황을 보내 주셔도 좋습니다.
글쓴이: SGK Studio 자동화 운영 담당.