무엇이 문제였나: 경쟁사를 보고도 무엇을 따라야 할지 몰랐다
지식인 마케팅을 하는 회사라면 한 번쯤 경쟁사 답변을 열어 봅니다. 저희도 그랬습니다. 같은 분야 질문마다 A사 계정의 답변이 붙어 있었고, 그 답변이 채택 표시를 달고 있는 경우가 많았습니다. 문제는 그 장면을 보고 무엇을 배워야 하는지 알 수 없었다는 점입니다. 답변이 길어서 채택을 받는지, 전문 분야라서 받는지, 브랜드를 내세워서 받는지, 아니면 전혀 다른 이유인지 눈으로는 구분할 수 없었습니다.
이 구분을 잘못하면 비용이 큽니다. 저희 파이프라인은 질문을 고르는 단계, 초안을 쓰는 단계, 발행하는 단계로 나뉘고, 어느 단계를 고칠지는 “채택을 가르는 요인이 무엇이냐”에 달려 있습니다. 요인이 답변 문장이라면 초안 프롬프트를 고쳐야 하고, 요인이 질문 선택이라면 수집 로직을 고쳐야 합니다. 틀린 쪽을 고치면 몇 주를 쓰고도 채택률은 그대로입니다.
경쟁사 답변을 몇 개 열어 보는 방식에는 구조적인 약점도 있습니다. 눈에 띄는 답변은 대개 검색 상단에 걸린 답변이고, 검색 상단에 걸리는 질문은 조회수가 많이 쌓인 오래된 질문인 경우가 많습니다. 손으로 고른 사례는 처음부터 특정 조건으로 치우쳐 있을 수 있다는 뜻입니다. 이 치우침은 뒤에서 12계정 표본이 틀린 이유와 뿌리가 같습니다.
그래서 대표가 요청한 일은 단순했습니다. A사가 지식iN을 실제로 어떻게 운영하는지 전부 세어 보자. 몇 개 계정을 보고 인상으로 말하지 말고, 계정 전체를 세고 답변 하나하나의 조건을 맞춰 비교하자는 요청이었습니다. 이 글은 그 조사가 한 번 틀린 결론을 냈다가 바로잡힌 기록입니다.
처음 잰 숫자: 57개 계정, 답변 450,427건
먼저 A사 계정의 범위를 확정했습니다. 공개 프로필과 답변 목록을 따라가며 A사 운영으로 판단한 계정은 57개였습니다. 이 57개 계정이 쌓은 누적 답변은 450,427건이었고, 그중 채택을 받은 답변은 120,136건으로 채택률 26.7%였습니다. 답변 하나하나의 조건, 즉 질문이 올라온 뒤 언제 답했는지와 그 질문에 다른 답변이 몇 개 붙어 있었는지를 보기 위해 답변 861건은 표본으로 직접 수집했습니다.
숫자 자체보다 먼저 눈에 띈 것은 하루 답변 수의 모양이었습니다. 57개 계정 중 51개가 하루 답변 95건 이상에서 반복해서 멈췄고, 그중 28개는 매번 정확히 100건에서 멈췄습니다. 네이버 지식iN은 답변자 등급별로 하루에 쓸 수 있는 답변 수에 상한을 두는데, 그 값이 100건과 150건입니다. 사람이 그날그날 질문을 골라 답했다면 하루 답변 수가 이렇게 한 값에 붙어 있기 어렵습니다. 상한까지 배치로 채우는 운영으로 읽었습니다.
이 단계에서 알게 된 것은 “A사는 많이 쓴다” 정도였습니다. 많이 쓰는 회사의 채택률이 26.7%라는 사실은 채택을 무엇이 가르는지 알려 주지 않습니다. 같은 26.7% 안에 채택이 잘 되는 답변과 거의 안 되는 답변이 섞여 있을 수 있기 때문입니다.
여기서 측정 방법을 하나 분명히 해 둡니다. 계정 단위 숫자(57개, 450,427건, 120,136건)는 계정 전체의 누적 값이고, 답변 시점과 경쟁 답변 수처럼 답변 하나하나에 붙는 조건은 861건 표본에서 셌습니다. 두 숫자는 쓰임이 다릅니다. 앞의 숫자는 규모를 말하고, 뒤의 숫자로는 조건별로 나눠 비교할 수 있습니다. 26.7%라는 평균 하나로는 조건별 차이를 볼 수 없기 때문에, 이 조사의 나머지는 전부 표본의 조건별 비교 위에 서 있습니다.
세운 가설: 전문성과 브랜드가 채택을 가른다
처음 세운 가설은 직관을 따랐습니다. 질문자는 믿을 만한 답을 고를 테니, 그 분야를 잘 아는 답변과 신뢰를 주는 답변이 채택을 받는다. 이 가설이 맞다면 A사의 높은 채택률은 본업 분야의 전문 답변에서 나와야 하고, 브랜드를 내세우는 방식은 효과가 있든 없든 채택률에 뚜렷한 차이를 만들어야 합니다.
가설을 검증 가능한 형태로 바꾸면 예측은 두 가지였습니다. 첫째, 본업 분야 질문에 단 답변의 채택률이 무관한 분야 질문에 단 답변보다 높아야 한다. 둘째, 브랜드를 드러낸 답변과 드러내지 않은 답변 사이에 채택률 차이가 있어야 하고, 그 차이의 방향이 브랜드 전략의 효과를 말해 준다. 두 예측 모두 답변을 분야와 인사말로 나눠 세기만 하면 확인할 수 있어 보였습니다.
전수를 다 세기 전에 중간 점검으로 12개 계정을 먼저 뽑아 답변을 나눠 봤습니다. 회사 이름과 인사말로 시작하는 답변, 즉 브랜드 인사말이 붙은 답변과 그렇지 않은 답변의 채택률을 비교했습니다. 결과는 분명해 보였습니다. 브랜드 인사말이 붙은 답변 쪽 채택률이 눈에 띄게 낮았습니다. 그래서 중간 결론을 “브랜드 인사말이 채택을 깎는다”로 적었습니다.
이 결론은 그럴듯했습니다. 광고처럼 보이는 답변을 질문자가 피한다는 설명은 누구나 쉽게 받아들입니다. 저희 답변에도 바로 적용할 수 있었습니다. 회사 이름을 빼고 담백하게 쓰라고 초안 규칙을 바꾸면 끝나는 일처럼 보였습니다. 바로 그 쉬움이 확인을 한 번 더 하게 만든 이유였습니다.
가설이 틀린 지점: 왜 12계정 표본은 반대로 말했나?
57개 계정 전수로 범위를 넓히고 답변마다 “질문이 올라온 뒤 며칠 만에 답했는가”를 함께 붙이자 그림이 달라졌습니다. 브랜드 인사말이 붙은 답변 대부분이 작성된 지 90일이 넘은 질문에 몰려 있었습니다. 반대로 인사말 없는 짧은 답변은 대부분 당일 질문에 달려 있었습니다. 두 집단은 인사말만 다른 것이 아니라 답을 단 질문의 나이가 통째로 달랐습니다.
그런데 질문의 나이는 그 자체로 채택률을 크게 바꿉니다. 오래된 질문은 질문자가 이미 답을 골랐거나 더는 들어오지 않을 가능성이 큽니다. 그러니 12계정 표본에서 본 차이는 “브랜드 인사말 때문에 채택이 떨어졌다”가 아니라 “브랜드 인사말은 원래 채택이 안 나오는 오래된 질문에 달렸다”였습니다. 통계에서 시점 교란이라고 부르는 상황입니다. 비교하려던 요인(인사말)과 결과(채택) 사이에 둘 다에 영향을 주는 제3의 요인(질문 나이)이 끼어 있었습니다.
구체적으로 무엇을 바꿨는지 적으면 이렇습니다. 답변마다 두 시각을 기록했습니다. 질문이 올라온 시각과 A사 답변이 달린 시각입니다. 둘의 차이로 답변을 당일, 작성 8~90일, 90일 이상 구간에 넣었습니다. 그다음 인사말 유무를 같은 구간 안에서만 비교했습니다. 구간을 나누기 전에는 인사말 있는 답변과 없는 답변이 서로 다른 나이의 질문을 대표하고 있었고, 구간을 나눈 뒤에야 같은 조건끼리 나란히 놓였습니다.
12계정 표본이 이 함정을 피하지 못한 이유는 표본 크기만이 아니었습니다. 답변을 인사말 유무로만 나눴고, 시점을 같은 조건으로 맞추지 않았습니다. 전수 조사에서도 시점을 고정하지 않았다면 같은 착시를 더 큰 데이터로 확인하는 데 그쳤을 겁니다. 그래서 이 조사의 진짜 교정은 “표본을 늘렸다”가 아니라 “답변 시점을 고정하고 비교했다”입니다.
중간 결론은 2026년 9월 15일 조사 기록에서 정정했습니다. 틀린 결론을 지우지 않고 왜 틀렸는지를 함께 남겼습니다. 같은 실수를 다음 분석에서 반복하지 않으려면, 어떤 비교가 어떤 이유로 틀렸는지가 기록에 남아 있어야 합니다.
진짜 원인: 지식인 채택을 가르는 것은 무엇인가?
답변 시점을 구간으로 고정하고 채택률을 다시 비교했습니다. 당일 질문에 단 답변의 채택률은 27.0%였습니다. 작성 8~90일이 지난 질문에 단 답변은 0%였고, 90일 넘은 질문에 단 답변은 1.5%였습니다. 같은 회사, 같은 계정, 비슷한 답변 방식인데 질문의 나이 하나로 채택률이 이만큼 벌어졌습니다. 채택 1순위 요인은 전문성이나 브랜드가 아니라 질문 신선도였습니다.
숫자의 모양도 눈여겨볼 만합니다. 채택률은 질문 나이가 늘수록 매끄럽게 줄지 않았습니다. 당일에서 27.0%였다가 8~90일 구간에서 0%로 떨어졌고, 90일 이상에서 오히려 1.5%로 조금 올랐습니다. 이 반등의 이유는 이번 데이터로 확인하지 못했습니다. 다만 실무 판단에는 영향이 없습니다. 0%든 1.5%든 당일 27.0%와 비교하면 채택을 노리고 오래된 질문에 답하는 일은 거의 효과가 없다는 결론은 같습니다.
2순위는 경쟁 답변 수였습니다. 다른 답변이 하나도 없는 질문에 단독으로 답한 경우 채택률은 34.6%였고, 이미 다른 답변이 4개 이상 달린 질문에 답한 경우는 14.8%였습니다. 질문자가 고를 후보가 많을수록 내 답이 뽑힐 확률이 내려가는, 생각해 보면 당연한 결과입니다. 다만 이 당연한 요인이 전문성보다 먼저 온다는 점은 직관과 다릅니다.
이 두 요인을 놓고 A사 운영을 다시 보면 구조가 두 층으로 나뉘어 보입니다. 첫째 층은 채택과 등급을 쌓는 층입니다. A사 답변의 68%가 당일 질문에 달렸고, 이 답변들은 본업과 무관한 분야 질문에 짧게 단 답이 많았습니다. 채택이 잘 나오는 조건만 골라 대량으로 쌓는 방식입니다. 둘째 층은 매출로 이어지는 노출을 가져가는 층입니다. 조회수가 쌓인 오래된 본업 질문에 브랜드 인사말을 붙인 답변을 답니다.
두 층이 노리는 것은 다릅니다. 90일 넘은 질문의 조회수 중앙값은 1,237회였고, 당일 질문은 83회였습니다. 오래된 질문은 채택은 거의 안 나오지만 검색으로 계속 사람이 들어옵니다. A사는 채택을 위해 브랜드를 붙인 것이 아니라, 채택이 필요 없는 자리에 노출을 위해 브랜드를 붙이고 있었습니다. 12계정 표본은 이 노출용 답변의 낮은 채택률을 보고 브랜드의 효과로 오해했던 셈입니다.
조치: 비교 조건을 고정하고, 수집 작업을 끊어 돌렸다
첫 조치는 분석 방법을 바꾼 일입니다. 채택률을 비교할 때 답변 시점 구간을 먼저 고정하고, 그 안에서만 다른 요인을 비교하도록 했습니다. 인사말 유무, 답변 길이, 분야 같은 요인은 시점이 같은 답변끼리 묶었을 때만 의미가 있습니다. 시점을 섞은 채 전체 평균을 비교하면 이번처럼 질문 나이의 효과가 다른 요인으로 둔갑합니다.
둘째 조치는 저희 질문 선택 로직을 고칠 방향을 정한 일입니다. 질문을 고르는 수집 단계를 다시 설계할 때, 질문 신선도 필터(당일~7일)와 경쟁 답변 수 필터를 채택률 개선 1순위로 검토하기로 했습니다. 프롬프트나 답변 문장을 먼저 손대지 않기로 한 근거가 이 조사입니다. 이 방향으로 실제 발행 경로를 바꾼 과정은 질문 나이로 지식인 채택률을 다시 본 글에 따로 정리했습니다.
셋째 조치는 A사 방식 중 따라 하지 않을 부분을 정한 일입니다. 여러 계정을 만들어 상한까지 자동으로 채우는 방식은 네이버 약관이 금지하는 자동화 게시·유사 답변 반복과 맞닿아 있습니다. 경쟁사가 그렇게 운영한다고 저희가 같은 방식으로 확장할 근거가 되지는 않습니다. 그래서 다계정·자동 대량 게시로의 확장은 대표가 사업 방향으로 따로 판단할 문제로 분리하고, 이 조사에서 가져갈 것은 “어떤 질문을 고르느냐”로 한정했습니다.
넷째 조치는 조사 도구 쪽에서 나왔습니다. 수집 결과를 처리하는 장시간 셸 작업을 백그라운드로 돌렸더니, 처리 데이터가 47MB밖에 안 되는데도 시스템 메모리가 출렁일 때 작업이 강제 종료됐습니다. 같은 일이 3회 연속 반복됐습니다. 데이터 크기가 원인이 아니었기 때문에 데이터를 줄이는 방법은 소용이 없었습니다. 작업을 잘게 나눠 앞에서 직접 돌리고, 각 묶음에 580초 시간 제한을 걸어 끝까지 완주시켰습니다.
이 정정에서 다음 분석에 가져갈 확인 항목을 네 가지로 정리했습니다. 경쟁사 데이터든 저희 데이터든, 채택률이나 전환율처럼 비율 하나로 결론을 내리기 전에 이 순서로 점검합니다.
- 채택률처럼 결과가 시간에 따라 크게 변하는 지표는 먼저 시점 구간을 고정하고 비교한다.
- 두 집단을 비교할 때, 두 집단이 다른 조건(질문 나이·경쟁 답변 수)에서 나왔는지부터 센다.
- 중간 표본의 결론이 “쉽게 고칠 수 있는 답”을 줄 때일수록 전수 데이터로 한 번 더 확인한다.
- 평균(26.7%) 하나로 운영 방식을 판단하지 않는다. 같은 평균 안에 목적이 다른 층이 섞여 있을 수 있다.
재측정 결과: 시점을 고정하자 무엇이 남았나?
시점을 고정한 재측정에서 남은 결론은 세 줄입니다. 채택 1순위는 질문 신선도이고(당일 27.0%, 8~90일 0%, 90일 이상 1.5%), 2순위는 경쟁 답변 수이며(단독 34.6%, 4개 이상 14.8%), 브랜드 인사말이 채택을 깎는다는 중간 결론은 근거를 잃었습니다. 브랜드 인사말의 효과를 제대로 보려면 같은 나이 구간 안에서 비교해야 하고, 그 비교는 브랜드 답변이 90일 이상 질문에 몰려 있는 탓에 표본이 충분하지 않습니다.
이 결과로 처음의 26.7%도 다르게 읽힙니다. 평균 26.7%는 채택을 노린 당일 답변과 노출을 노린 오래된 질문 답변이 섞인 값입니다. 당일 답변이 전체의 68%를 차지하고 그 구간의 채택률이 27.0%라는 점을 함께 보면, A사 채택의 대부분은 첫째 층에서 나온다고 볼 수 있습니다. 반대로 둘째 층 답변은 채택 숫자에는 거의 보태지 않지만, 조회수 중앙값 1,237회짜리 질문 아래에 회사 이름을 남깁니다. 평균 하나만 봤다면 두 층 모두 같은 목적으로 돌아간다고 오해했을 겁니다.
운영 주체도 함께 확인했습니다. A사의 지식iN 운영은 본사 안의 네이버 오가닉 마케팅 조직과 사내 자동화팀이 맡는 구조로 보였습니다. 채용 공고에 Playwright와 n8n 같은 자동화 도구가 적혀 있었고, 외주사나 대리점이 운영한다는 증거는 0건이었습니다. 하루 상한까지 배치로 채우는 모양과 사내 자동화팀의 존재는 서로 들어맞습니다.
재측정 도중에 예상하지 못한 변화도 잡혔습니다. 9월 3일에는 A사 계정 10개가 답변 110건을 올렸는데, 9월 4일에는 계정 1개가 답변 5건을 올리는 데 그쳤습니다. 하루 사이에 대량 운영이 멈춘 셈입니다. 내부 방침을 바꿨는지, 플랫폼 쪽 조치가 있었는지는 공개 데이터로 알 수 없어 원인은 확인하지 못했습니다.
남는 한계
이 조사는 관찰 데이터입니다. 같은 답변을 시점만 바꿔 다시 달아 보는 실험을 한 것이 아니라, 이미 달린 답변을 시점별로 나눠 비교했습니다. 시점을 고정해 교란 하나를 걷어 냈지만, 질문 분야나 질문자 성향처럼 시점과 함께 움직이는 다른 요인이 남아 있을 수 있습니다. 답변 단위 조건은 861건 표본에서 나온 값이라, 계정 전체 450,427건에 그대로 맞는다고 단정하지 않습니다.
9월 4일의 운영 중단은 원인을 모릅니다. 원인에 따라 해석이 정반대가 됩니다. 플랫폼이 대량 운영을 제재했다면 A사의 첫째 층 방식은 지속 가능한 전략이 아니라는 뜻이고, 회사 내부 사정이라면 이 시장의 경쟁 강도가 일시적으로 낮아졌다는 뜻일 뿐입니다. 어느 쪽인지 모르는 상태에서 이 사건을 근거로 결정을 내리지 않기로 했습니다.
운영 조직에 관한 판단도 공개 정보에서 추론한 결과입니다. 외주 증거가 0건이라는 말은 외주가 없다는 증명이 아니라, 저희가 찾은 범위 안에서 나오지 않았다는 뜻입니다. 마지막으로, 이 조사에서 얻은 두 요인이 저희 계정에서도 같은 크기로 작동하는지는 저희 발행 결과로 따로 재야 합니다. 경쟁사의 채택률 27.0%는 목표치가 아니라 같은 시장에서 가능한 범위를 보여 주는 기준선입니다.
이 조사를 다른 회사가 지식인 마케팅에 적용할 때 주의할 점도 있습니다. A사의 두 층 운영은 계정 57개와 하루 상한까지 채우는 처리량을 전제로 합니다. 같은 구조를 작은 회사가 계정 한두 개로 흉내 내면 첫째 층의 채택 누적도, 둘째 층의 노출 범위도 그만큼 줄어듭니다. 반대로 질문 신선도와 경쟁 답변 수라는 두 요인은 계정 수와 무관하게 쓸 수 있습니다. 하루에 답할 수 있는 수가 적을수록, 당일에 올라와 아직 다른 답이 없는 질문을 고르는 일의 값어치가 커집니다.
지식인 마케팅이나 경쟁사 데이터 분석에서 비슷한 판단을 앞두고 있다면 상담으로 문의해 주세요. 이 글에서 다룬 것처럼, 결론을 내기 전에 어떤 조건을 고정해야 하는지부터 함께 봅니다.