광고대행 수수료 조사에서 «판정 불가»를 «원정»으로 센 오류를 바로잡은 기록

광고대행 수수료 조사에서 무엇이 틀렸나

광고대행 수수료를 조사하다 보면 결론을 죽이는 전제가 사실은 조사 도구의 읽기 실수였다는 일이 생깁니다. 저희가 8월 21일과 8월 23일에 내린 두 가지 판단이 그랬습니다. 9월 17일에 다시 조사해 보니 «김포 치과 5곳 중 김포는 1곳»이라는 숫자는 10곳 중 7곳으로 바뀌었고, «배분율 공개 사례 0건»은 원문 4건으로 바뀌었습니다.

두 숫자 모두 저희가 직접 낸 값이었습니다. 한 번 «없다»고 적은 숫자는 그 뒤 모든 계산의 출발점이 됩니다. 이 글은 어디서 읽기를 놓쳤는지, 다시 읽을 때 무엇을 바꿨는지, 그래서 대표에게 올릴 결정 세 건이 어떻게 달라졌는지를 순서대로 적습니다.

먼저 밝혀 둘 것이 있습니다. 결정 세 건의 결론은 하나도 바뀌지 않았습니다. 세 건 모두 기존 권장안을 유지했고 바뀐 것은 근거뿐입니다. 근거를 바꾸는 일이 결론을 바꾸는 일만큼 중요했던 이유도 아래에서 설명합니다.

이 조사는 어떤 결정을 기다리고 있었나

저희는 광고대행 사업에 들어갈지 검토하는 중이었습니다. 대표의 판정을 기다리는 결정이 세 건 쌓여 있었고, 세 건은 각각 8일에서 20일 동안 답을 받지 못했습니다. 답이 없었던 이유를 따져 보니 대표가 게을러서가 아니었습니다. 카드에 적힌 근거에 빈칸이 있었기 때문입니다.

403은 서버가 «이 요청은 받지 않겠다»고 돌려보내는 응답입니다. 8월 21일 조사에서는 가격 비교 대상의 원문 페이지가 403으로 막혔고, 그 칸은 물음표로 남았습니다. 9월 11일에 올린 첫째 결정 요약은 원문 없이 쓴 문장이었습니다. 같은 요약을 다시 올려도 대표가 또 물을 근거가 없으니, 이번 재조사는 비어 있던 칸을 원문과 공개 조회 API로 채우는 일부터 시작했습니다.

여기서 대대행이라는 말을 풀어 둡니다. 광고를 맡은 대행사가 일부를 다시 다른 대행사에 넘기는 구조를 가리키고, 배분율은 그때 광고비 중 얼마가 오가는지를 나타내는 비율입니다. 셋째 결정은 이 비율을 가정해서 수수료를 계산하는 안이었습니다.

79만 원과 149만 원은 시장가 안에 들어가나

첫째 결정부터 다시 봤습니다. 파워링크(네이버 검색광고의 상단 노출 영역) 운영만 파는 대행사 18곳의 원문 가격을 확인했더니 10곳이 0원에서 월 10만 원 사이였습니다. 열여덟 곳 중 절반이 넘는 열 곳이 사실상 공짜에 가까운 가격으로 검색광고 운영을 팔고 있었습니다.

그래서 결론은 이렇게 정리했습니다. 79만 원과 149만 원은 검색광고 운영 단독으로는 받을 수 없는 가격입니다. 반면 블로그·플레이스·리포트를 묶은 통합 대행으로 상품을 다시 정의하면 사정이 달라집니다. 병원 통합 대행의 원문 가격이 월 100만 원에서 1,000만 원이라, 저희 두 가격은 그 범위의 아래쪽에 서게 됩니다.

79/149만은 검색광고 운영 단독으로는 못 받는다(파워링크 운영만 파는 18곳 중 10곳이 0원~월10만, 원문).

권장안은 처음과 같았습니다. 바뀐 것은 «왜 그렇게 권하는가»의 문장입니다. 9월 11일에는 원문이 없었고 지금은 원문이 있습니다. 대표가 결정 카드를 열었을 때 가격 근거를 직접 클릭해서 확인할 수 있다는 점이 이 재조사에서 가장 실용적인 변화였습니다.

김포 치과 5곳 중 1곳은 어떻게 나온 숫자였나

둘째 결정의 근거는 8월에 낸 «김포 치과 5곳 중 김포 소재는 1곳»이라는 판정이었습니다. 광고를 내는 치과 대부분이 다른 지역에서 김포로 원정 광고를 하고 있다면, 김포에서 치과 광고대행 시장을 노리는 일은 의미가 없습니다. 그래서 이 숫자는 니치 전체를 접을 수 있는 무게를 갖고 있었습니다.

다시 보니 숫자를 만든 도구가 문제였습니다. 광고 문구에서 업체 위치를 확인하는 검증 스크립트는 «임플란트, 상호»나 «상호 지점명» 같은 형태의 이름을 풀지 못했습니다. 쉼표 뒤에 상호가 붙거나 상호 뒤에 지점명이 붙으면 어떤 업체를 말하는지 찾지 못하고 «판정 불가»를 돌려줬습니다.

진짜 문제는 그다음입니다. 집계 단계에서 이 판정 불가를 원정(김포 밖 업체)으로 세어 버렸습니다. 모르는 것을 «아니다»로 센 셈입니다. 5곳 중 1곳이라는 숫자에는 «김포가 아니다»로 확인한 업체와 «읽지 못한 업체»가 섞여 있었습니다.

이런 오류가 오래 숨는 이유는 결과가 그럴듯해 보이기 때문입니다. 5곳 중 1곳이라는 숫자는 «다른 지역 병원이 김포에서 광고를 한다»는 이야기와 맞아떨어졌고, 그래서 아무도 판정 불가가 몇 건이었는지 물어보지 않았습니다. 집계표에 «확인 불가» 칸이 따로 있었다면 이 숫자는 한 줄만 봐도 의심할 수 있었습니다.

재조사에서는 후보 이름을 접미사, 괄호, 쉼표 조각으로 다시 쪼개서 뽑은 뒤 지역 검색 API에 다시 물었습니다. 결과는 10곳 중 7곳이 실제로 김포에 있는 업체였습니다. 표본이 5곳에서 10곳으로 넓어진 점은 같이 봐야 하지만, 방향은 분명히 뒤집혔습니다. 판정 불가를 따로 세지 않은 채 원정으로 합친 집계가 니치를 실제보다 작게 보이게 만들고 있었습니다.

배분율 공개 사례는 왜 0건으로 나왔나

셋째 결정의 근거는 8월 21일 조사의 «배분율 공개 사례 0건»이었습니다. 사례가 없으니 비율을 30%, 50%, 70%, 100%로 나눠 격자로 가정하고 수수료를 계산했습니다. 이 숫자 역시 0이라는 결론 때문에 가정이 필요했고, 가정이 필요했기 때문에 격자가 만들어진 구조였습니다.

다시 짚어 보니 8월 조사는 대행 의뢰 게시판만 읽었습니다. 게시판은 일을 맡기려는 쪽이 요청 글을 올리는 목록이라 비율을 밝히는 글이 올라올 곳이 아닙니다. 비율은 옆 레이어에 있었습니다. 질문과 답변을 주고받는 곳, 정보를 공유하는 곳, 재대행사가 직접 쓰는 블로그를 열자 원문 4건이 광고비의 10~14%를 적고 있었습니다.

0건이라는 숫자는 «사례가 없다»가 아니라 «이 게시판에는 사례가 올라오지 않는다»였습니다. 같은 문장처럼 보이지만 앞의 것은 세상에 대한 주장이고 뒤의 것은 조사 범위에 대한 기록입니다. 8월에는 둘을 구분해 적지 않았습니다.

그래서 8월 23일의 격자는 버렸습니다. 현실 구간 10~14%가 격자의 최저값인 30%보다 아래에 있으니, 어떤 칸을 골라도 실제와 맞지 않는 계산이 됩니다. 격자를 유지하자는 대안도 검토했지만 계산이 무효라서 기각했습니다.

재조사를 어떻게 돌렸고 무엇이 막혔나

재조사의 가장 무거운 작업은 니치 실측이었습니다. 치과와 한의원 두 업종을 5개 지역에 걸쳐 40개 조합으로 나눠 측정했습니다. 파워링크에서 광고 390건을 모았고 지역 검색 API 조회는 약 400번 호출했습니다.

이 작업을 돌리는 백그라운드 프로세스는 메모리가 부족해서 4번 중간에 멈췄습니다. 다만 스크립트가 키워드 하나를 끝낼 때마다 진행 상태를 남기고 다음에 이어받도록 짜여 있어서 데이터를 잃지 않았습니다. 시간은 늘었지만 이미 모은 결과를 버리고 처음부터 다시 돌릴 일은 없었습니다.

40개 조합을 한 번에 모으지 않고 키워드 단위로 끊어 이어받게 짠 설계가 이번에 값을 했습니다. 메모리 부족으로 4번 멈췄는데도 결과를 처음부터 다시 모은 적이 없습니다. 오래 걸리는 수집 작업은 멈추는 일을 전제로 짜야 한다는 점을 다시 확인했습니다.

검증 스크립트의 이름 읽기 결함은 이번 범위에서 고치지 않았습니다. 이번 일은 결정 근거를 채우는 작업이었고 스크립트 수리는 다른 작업입니다. 고칠 일을 나중에 고칠 일 목록에 적어 두는 것으로 마무리했습니다. 범위 밖의 수리를 슬쩍 끼워 넣으면 이번 결과가 어떤 코드 위에서 나왔는지 흐려지기 때문입니다.

기각한 대안과 남긴 가설은 무엇인가

재조사 보고서에는 판정 카드 3장 외에 기각한 가설 6건이 따로 한 절을 차지합니다. 기각 목록을 남기는 이유는 같은 가설이 다음 조사에서 다시 올라오지 않게 하기 위해서입니다.

그중 두 가지 대안은 결정 기록에도 이유를 적었습니다. 첫째는 9월 11일 요약을 그대로 다시 올리는 안입니다. 원문을 확보하지 못한 채 같은 카드를 반복하면 대표가 또 물을 근거가 없으니 기각했습니다. 둘째는 8월 23일의 배분율 격자를 유지하는 안입니다. 실측 구간이 격자 최저값보다 낮아서 기각했습니다.

조사 방식에서 바꾼 원칙은 단순합니다. 모르는 것은 모른다고 따로 세고, «없다»고 적기 전에 옆 레이어를 열어 봅니다. 블로그 대행 비용의 선결 조건을 따진 이전 글에서도 같은 습관이 필요했습니다. 부정 판정은 존재 판정보다 증명할 것이 많습니다.

근거만 바꾸고 결론은 그대로 둔 이유는 무엇인가

숫자가 뒤집혔는데 결론이 그대로라는 점이 이상하게 들릴 수 있습니다. 세 건을 하나씩 보면 이유가 보입니다. 결론이 근거와 방향이 같았기 때문에, 나쁜 근거가 좋은 근거로 바뀌었을 뿐 권장안은 움직일 이유가 없었습니다.

첫째 결정은 통합 대행으로 상품을 다시 정의하는 방향이었고, 새로 확보한 원문 가격이 그 방향을 뒷받침했습니다. 둘째 결정은 치과와 한의원 5개 지역으로 넓히는 지역 확대안이었습니다. 김포 소재 업체가 10곳 중 7곳이라는 재조사 결과는 니치를 접자는 쪽의 논거를 걷어 냈고, 확대안을 유지하는 근거로 남았습니다. 셋째 결정은 첫 유상 광고주를 확보한 뒤에 코드를 요청하는 순서였고, 이 순서도 그대로 두었습니다. 배분율 실측치 10~14%를 넣어 수수료 계산만 새로 했습니다.

근거를 바꿔야 하는 이유는 따로 있습니다. 대표가 결정 카드를 열었을 때 근거가 «원문을 못 열었다»거나 «도구가 읽지 못한 숫자»이면 대표는 판정할 수 없고, 그 상태로 8일에서 20일이 흘렀습니다. 같은 결론이라도 근거가 단단해야 답을 받을 수 있습니다.

또 하나 짚을 점이 있습니다. 8월에 내린 판단 두 개는 모두 «없다», «거의 없다»는 부정 쪽 결론이었습니다. 부정 결론은 한 번 적히면 다시 열어 보는 사람이 적습니다. 사업을 접는 이유로 쓰이기 쉬운 숫자일수록 도구가 무엇을 읽었는지부터 확인해야 합니다.

광고대행 수수료를 조사할 때 무엇을 물어야 하나

광고대행 수수료를 비교하려는 회사나 대행업에 들어가려는 사업자에게 이번 일이 주는 점검 항목을 네 가지로 줄였습니다.

• «0건»이나 «없다»는 숫자가 나왔을 때, 어느 목록에서 셌는지 먼저 적는다. 게시판 하나만 본 0건은 시장 전체의 0건이 아니다
• 판정 불가를 아니다와 같은 칸에 세지 않는다. 읽지 못한 항목은 따로 센다
• 표본을 5곳에서 10곳으로 넓혔을 때 결론이 뒤집히는지 본다. 작은 표본의 비율은 도구 오류에 크게 흔들린다
• 가격 비교는 서비스 범위를 맞춰서 한다. 검색광고 운영 단독 가격과 블로그·플레이스·리포트를 묶은 통합 가격은 서로 다른 상품이다

이 네 가지는 모두 숫자를 믿기 전에 숫자의 범위를 확인하는 습관입니다. 광고대행 가격을 정하거나 대행사를 고르는 중이라면 상담에서 같은 기준으로 같이 살펴볼 수 있습니다.

아직 풀지 못한 것

세 결정 모두 대표의 판정을 기다리는 상태입니다. 근거를 채웠다고 판정이 끝난 것은 아닙니다. 첫 유상 광고주를 확보한 뒤에 코드를 요청하는 순서가 맞는지는 실제 광고주를 만나 봐야 답이 나옵니다.

재조사가 끝난 지금 가장 분명하게 말할 수 있는 것은 방향입니다. 8월의 두 숫자는 모두 조사 범위나 도구가 만든 값이었고, 9월의 숫자는 그 범위를 넓히고 이름 읽기를 보강한 값입니다. 다만 숫자가 더 낫다고 해서 시장이 확정된 것은 아닙니다. 첫 유상 광고주를 한 곳 확보하기 전까지는 이 모든 수치가 책상 위의 조사라는 점을 기억해야 합니다.

그리고 10곳 중 7곳이라는 숫자도 같은 검증 도구가 낸 값입니다. 이름 읽기를 보강했지만 도구 자체는 고치지 않았으므로, 나머지 3곳이 정말 원정인지 이름을 읽지 못한 것인지는 이 글을 쓰는 시점에 따로 확인하지 않았습니다. 이 칸은 비어 있다고 적어 두고, 확인하는 대로 이 글에 덧붙이겠습니다.