스레드 바이럴 유형 실측 — 실패담은 오히려 지는 쪽이었다

증상 — 글은 매일 나가는데 반응이 38건에서 멈춰 있었다

SGK 스튜디오는 자사 채널 글을 손으로 올리지 않는다. 소재를 고르고 초안을 쓰고 올리는 일까지 AI 에이전트 여러 대가 나눠 맡는 파이프라인이 돌아간다. 그 채널 하나가 스레드다.

이 채널의 글 설계에는 승부수가 두 개 적혀 있었다. 하나는 실패담이다 — 우리가 무엇을 틀렸고 어떻게 되돌렸는지 자백하는 글. 다른 하나는 경험담 평문이다 — 1인칭으로 겪은 일을 그대로 풀어 쓰되 요령을 따로 전수하지 않는 글. 둘 다 '솔직하면 읽힌다'는 감각 위에 서 있었다.

증상은 단순했다. 글은 매일 나가는데 반응이 안 붙었다. 계정에 붙은 반응을 전부 세니 38건이다. 이 숫자는 증상이면서 동시에 조사를 막는 벽이기도 했는데, 그 사실은 한참 뒤에야 알았다.

먼저 짚어 둘 것이 있다. 이 글에서 '유형'은 글감이 아니라 글의 형태다. 같은 소재로도 실패담을 쓸 수 있고 번호를 매긴 목록을 쓸 수 있다. 우리가 잘못 고른 것은 소재가 아니라 형태였다.

처음 의심한 것 — 우리 계정 데이터로 답이 나온다고 봤다

문제 제기는 밖에서 왔다. 회사 대표가 채널 설계 문서를 읽고 이렇게 물었다.

바이럴을 유도한다고 설계한 내용이 거의 그냥 경험담 평문, 내 느낌, 실패담인데 이게 바이럴이 되는 게 맞아? AI 분야는 최신 핫이슈나 꿀팁 전수가 인기 많지, 해외처럼 만드는 과정을 공개하는 감성이 국내에서는 안 먹히는 것 같은데.

이 물음에 감으로 답할 수는 없었다. 답이 '맞다'로 나오든 '아니다'로 나오든, 근거가 감이면 다음 주에 같은 논쟁을 다시 하게 된다. 그래서 재기로 했다.

처음 세운 가설은 이랬다 — 우리 발행분에 유형 라벨을 붙이고 반응을 비교하면 어느 형태가 먹히는지 우리 데이터 안에서 가려낼 수 있다. 우리 채널의 성적을 묻는 물음이니 우리 채널 데이터로 답하는 게 자연스러워 보였다.

이 가설이 이 조사에서 가장 먼저 죽은 가설이다. 다만 죽는 방식이 흔한 쪽은 아니었다. 데이터가 반대 결론을 낸 게 아니라, 데이터가 아무 결론도 못 냈다.

그 판정을 무엇으로 쟀나?

확인 수단은 판정기 한 개다. 유형 판정기를 새로 만들었고(수집기 폴더의 corpus-verdict-genre.py), 통계 검정을 하는 부분은 이미 쓰고 있던 문체 판정기(corpus-verdict-style.py)에서 그대로 가져왔다. 검정을 새로 적으면 두 판정이 갈린다 — 같은 데이터를 놓고 문체 쪽과 유형 쪽이 다른 답을 내면 어느 쪽도 못 믿는다.

판정 방식은 짝짓기다. 글 하나하나의 반응 수를 그대로 비교하지 않고, 조건이 같은 글 둘을 짝지어 '그 유형인 쪽'과 '아닌 쪽' 중 어느 쪽이 이겼는지만 센다. 짝을 지을 때 고정한 조건은 셋이다.

• 같은 작성자 — 팔로워 수와 계정 나이가 반응에 미치는 영향을 통째로 지운다
• 같은 수집 경로 — 어디서 긁어 온 글인지가 갈리면 수집 편향이 결과에 섞인다
• 길이 ±25% 이내 — 긴 글이 반응을 더 받는 효과와 유형 효과를 갈라 놓는다

세 조건을 걸면 표본이 확 준다. 원글 42,661건에서 실패·자백 유형이 만든 짝은 529개뿐이다. 그래도 짝짓기를 택한 이유는, 조건을 안 맞추고 평균만 비교하면 결국 유형이 아니라 '누가 썼는가'를 재게 되기 때문이다.

판정의 세기도 미리 정해 뒀다. 짝에서 이긴 횟수가 진 횟수보다 많더라도, 그 차이가 동전 던지기로도 나올 만한 크기면 '지지됨'을 붙이지 않는다. 이 기준이 없으면 일곱 유형 중 다섯쯤은 그럴듯한 이야기와 함께 지지됨이 되고, 결국 우리가 이미 믿던 것을 데이터가 추인하는 모양이 된다.

이런 결정론 판정기를 우리는 다른 자리에도 쓴다. 문장이 번역투로 굳는 문제도 같은 구조로 잡았다 — 모델에게 잘 쓰라고 시키는 대신 다 쓴 글을 기계가 따로 검사한다(AI 번역체 자동 검사 기록).

알리바이 — 왜 우리 계정 데이터로는 답이 안 나오나?

판정기를 우리 계정에 먼저 대 봤다. 결과는 판정 불가였다. 반응이 38건이라 어떤 축으로 갈라도 한쪽이 0이고 다른 쪽도 0에 가깝다. 실패담 그룹과 나머지를 나란히 놓아도 이겼다 졌다를 셀 짝 자체가 만들어지지 않는다.

그래서 우리 계정을 표본에서 뺐다. 자기 계정 데이터에는 문제가 하나 더 있다. 우리 발행분은 실패·자백이 41.5%를 차지하니, 그 안에서 대조군을 찾으려 해도 비교 대상이 거의 같은 유형이다. 자기 설계로 만든 데이터로 자기 설계를 검증하려던 셈이다.

첫 가설은 여기서 알리바이를 얻었다. '우리 글이 문제인가'는 우리 데이터로 답할 수 없는 물음이었고, 답하려면 이미 반응이 붙고 있는 남의 글을 세어야 했다. 조사의 방향이 이 지점에서 안쪽에서 바깥쪽으로 꺾였다.

그러면 실제로 오르는 형태는 무엇인가?

작성자 8,344명이 쓴 원글 42,661건을 일곱 유형으로 갈라 재니 판정이 넷 대 셋으로 갈렸다.

눈에 걸린 행은 맨 아래다. 실패·자백은 일곱 유형 중 유일하게 짝에서 지는 쪽이 더 많았다 — 234대 257이다. 이 차이 자체는 우연 범위 안이라 '실패담을 쓰면 반응이 떨어진다'고 말할 수는 없다. 다만 '실패담이 바이럴을 만든다'는 우리 전제의 반대쪽 근거는 여기 어디에도 없다.

판정이 갈린 방향이 문제 제기와 정확히 겹쳤다. 대표가 지목한 셋 — 최신 핫이슈, 꿀팁 전수, 수익 인증 — 이 전부 지지됐다. 가장 세게 지지된 축은 핫이슈다. 짝 1,745개에서 932대 712로 이겼고, 이 정도 치우침은 우연으로 설명하기 어렵다. 번호·불릿 리스트와 정보 전수형이 그 뒤를 잇는다.

경험담 평문은 짝이 4,773개로 가장 두껍다. 표본이 얇아서 판정이 안 난 게 아니라는 뜻이다. 이만큼 두꺼운 표본에서도 이기는 쪽과 지는 쪽이 2204대 2040으로 갈렸다.

한 가지 더 눈에 띄는 자리는 '주장·단정'이다. 코퍼스 비중 4.7%로 적지 않게 쓰이는 형태인데 719대 704로 거의 반반이었다. 세게 말한다고 반응이 붙지는 않는다는 뜻이고, 이건 우리 설계와는 상관없지만 다음 설계에서 유혹이 될 만한 자리라 같이 적어 둔다.

진짜 원인 — 유형 배분이 코퍼스와 정확히 반대였다

판정표를 손에 쥐고 우리 발행분 53건을 같은 자로 다시 쟀다. 여기서 원인이 드러났다.

실패·자백이 41.5%다. 코퍼스 비중 1.8%의 23배다. 경험담 평문은 54.7%로 코퍼스 18.5%의 3배다. 두 유형을 합치면 발행분의 대부분이고, 둘 다 짝에서 이겼다고 말할 근거가 없는 형태다.

반대쪽이 더 아팠다. 번호·불릿 리스트가 0%다. 코퍼스에서 3.7%를 차지하고 짝 921개에서 487대 408로 이긴, 가장 또렷하게 지지된 축 하나를 우리는 한 건도 쓰지 않고 있었다.

그러니까 원인은 문장력도 발행 시각도 아니었다. 유형 배분이 시장과 반대였다. 잘 오르는 형태를 안 쓰고, 오른다는 근거가 없는 형태를 절반씩 쓰고 있었다.

배분이 이렇게 굳은 과정도 짚어 둘 만하다. 실패담과 경험담 평문은 쓰기가 쉽다. 그날 한 일을 그대로 적으면 초안이 나오니 파이프라인이 매일 돌아가는 데는 유리하다. 반면 번호·불릿 리스트는 그날 한 일을 남이 쓸 수 있는 형태로 정리해야 나온다. 손이 더 가는 형태가 밀리고 쉬운 형태가 쌓인 결과가 41.5%와 54.7%다.

고친 방법 — 감을 자로 바꿨다

고친 것은 글이 아니라 판정 기준이다. 개별 글을 손보는 일로는 같은 문제가 다음 달에 그대로 돌아온다. 바꾼 것은 셋이다.

• 물음의 형태 — '이게 바이럴이 되는 게 맞아?'를 감으로 답하지 않고, 이미 가진 라벨로 잴 수 있는 물음으로 다시 적었다
• 판정 표본 — 우리 계정을 뺀다. 반응 38건은 판정에 아무것도 보태지 않고, 우리 설계로 만든 데이터라 대조군 노릇도 못 한다
• 발행 전 라벨 — 글을 올리기 전에 유형 라벨을 붙인다. 53건을 다 쓰고 나서야 41.5%를 알게 된 게 이번 사고의 모양이다

배분 교정은 이 자에서 바로 나온다. 지지된 넷 중 하나도 안 쓰던 축이 있으면 그 축부터 채우고, 지지되지 않은 둘의 비중을 절반 아래로 내린다. 여기서 주의할 점이 하나 있다 — 지지되지 않았다는 말은 금지가 아니다. 실패담을 쓰지 말라는 뜻이 아니라, 실패담이 반응을 만들어 준다는 기대를 빼라는 뜻이다.

정직하게 적자면 이 글은 진단까지의 기록이다. 배분을 바꾼 뒤의 재측정은 아직 없다. 우리 계정 반응이 38건인 이상 재측정이 판정력을 가지려면 표본이 더 쌓여야 하고, 그 기간 동안에도 판정의 자는 외부 코퍼스 쪽이다.

같은 실수를 막는 장치 — 자를 한 개로 두고 발행분을 그 자로 잰다

이 사고의 재발 조건은 분명하다. 유형을 감으로 고르고, 그 결과를 자기 계정 성적으로만 확인하면 똑같이 반복한다. 그래서 장치를 셋 걸었다.

• 검정층을 공유한다 — 유형 판정기는 문체 판정기의 검정 코드를 그대로 쓴다. 짝짓기 규칙(같은 작성자·같은 수집 경로·길이 ±25%)을 판정기마다 다시 적으면 두 판정이 갈린다
• 발행분을 코퍼스와 나란히 잰다 — 41.5% 대 1.8% 같은 격차는 글을 한 편씩 읽어서는 절대 안 보인다. 두 비중을 같은 화면에 놓으면 한눈에 보인다
• 지지되지 않은 축을 금지 목록으로 만들지 않는다 — '올랐다고 말할 근거가 없다'와 '떨어진다'는 다른 말이고, 둘을 섞으면 다음번엔 반대 방향으로 똑같이 과잉 반응한다

셋 중 실효가 가장 큰 것은 두 번째다. 앞의 둘은 판정을 정확하게 만들고, 두 번째는 판정을 눈에 보이게 만든다. 이번 사고에서 실제로 늦은 지점도 정확도가 아니라 가시성이었다 — 발행분 53건이 쌓이는 동안 아무도 배분을 세지 않았다.

이 측정이 말하지 않는 것

판정표를 그대로 읽으면 틀린 결론에 닿기 쉬운 자리가 몇 군데 있다. 넷을 적어 둔다.

• 코퍼스 비중은 인기 순위가 아니다 — 경험담 평문 18.5%는 가장 흔한 형태라는 뜻이지 가장 잘 먹힌다는 뜻이 아니다
• 차중앙 +2는 반응 두 개 차이다. 짝에서 이긴 횟수가 많다는 신호이지 대박의 크기를 말하지 않는다
• 유형은 서로 배타적이지 않다 — 핫이슈를 번호 목록으로 정리한 글은 두 축에 동시에 걸린다
• 이 자는 한국어 스레드 원글에서 나왔다. 다른 플랫폼이나 다른 언어권에 그대로 대면 안 된다

측정 밖에 남은 물음도 있다. 지지된 넷을 채운 뒤 우리 계정 반응이 실제로 움직이는지는 아직 모른다. 38건이 몇 백 건이 되기 전에는 그 물음에 판정이 안 나온다.

같은 자를 우리 채널 밖에 대 본 적은 아직 없다. 채널에 무엇을 쓸지 감으로 정하고 있고 그게 맞는지 재고 싶다면 상담으로 물어봐 달라. 재는 방법은 이 글에 적힌 그대로다.