엔지니어링

콜드메일 회신율, 요청 3개를 1개로 줄인 실험: 클릭 27건에 리드 0

콜드메일 회신율이 0에 머문 이유를 저희는 메일 한 통이 받는 사람에게 세 가지 일을 한꺼번에 요구한 데서 찾았습니다. 같은 본문으로 669건을 보내 링크 클릭 27건을 얻었지만 그 클릭에서 나온 리드는 0건이었습니다. 그래서 링크를 지키는 대신 요청을 회신 하나로 줄인 실험군을 켰고, 2주 뒤 무엇을 보면 채택하고 무엇을 보면 버릴지를 켜기 전에 먼저 적었습니다.

2026-11-19증상: 같은 본문 버전으로 669건 발송, 링크 클릭 27건, 그 클릭에서 나온 리드 0건보조 관측: 2026년 8월 13일 퍼널 클릭 24 → 진단 시작 7 → 문의 0, 최근 30일 클릭 128 / 열람 410반증된 가설 1: 클릭을 지키면 언젠가 문의가 온다. 두 시점의 퍼널 모두 문의 0기각한 가설 2: 회신이 아직 도착 중이니 기다린다. 리드 0은 669건으로 이미 확정원인 가설: 한 통에 요청 3개(정정·링크 클릭·회신)가 겹쳐 받는 사람이 아무것도 하지 않는다수리: 2026년 8월 28일, 실험군 한정으로 본문 4줄 삭제·2줄 추가, 630자 본문재발 방지: 판정 기준 사전 고정(2주 약 300통, 회신 3건 이상 채택·0~1건 기각, 반송률 +2%p 초과 즉시 중단, 판정일 2026년 9월 11일)

증상: 클릭은 나는데 리드는 0이었다

결론부터 적으면, 클릭이 리드로 이어지지 않은 원인을 저희는 링크나 랜딩 페이지가 아니라 메일 한 통에 들어 있던 요청 개수에서 찾았습니다. 다만 이 결론은 처음 세운 설명이 아니었고, 지금도 실험으로 확인하는 중인 가설입니다. 이 글은 그 순서를 그대로 남깁니다.

당시 주력 본문은 내부에서 세 번째 판(이하 v3)이라고 부르던 버전이었습니다. v3로 나간 메일은 669건, 그 메일의 링크를 누른 클릭은 27건이었습니다. 숫자만 보면 링크가 일을 하고 있었습니다. 그런데 그 27건의 클릭에서 나온 리드는 0건이었습니다.

막대 그래프. v3 본문 발송 669건, 링크 클릭 27건, 리드 0건
669건을 보내 클릭 27건, 리드는 0건

리드 목록 파일에서 '메일로 직접 들어온 문의'로 분류된 4건도 하나씩 열어 봤습니다. 콜드메일에 회신한 사람은 없었습니다. 한 건은 다른 경로로 알게 된 담당자였고, 한 건은 저희가 먼저 연락하지 않은 파트너십 제안이었으며, 나머지는 대표 문의 주소(contact@)로 들어온 메일이 자동으로 등록된 건이었습니다.

한 통이 받는 사람에게 요구하던 일은 세 가지였습니다. 저희가 추정한 내용이 틀렸으면 '아니오' 한 줄로 정정해 달라는 요청, '지금 확인해 보기' 링크를 눌러 달라는 요청, 그리고 한 줄만 회신해 달라는 요청입니다. 이때는 이 구조를 문제로 보지 않았습니다.

처음 의심한 것: 클릭이 늘면 언젠가 문의가 오는가?

가장 먼저 떠오른 설명은 '클릭은 살아 있는 지표다'였습니다. 링크를 누른 사람은 관심을 보인 사람이니, 랜딩 페이지에서 진단을 시작하고 그중 일부가 문의로 넘어오리라는 기대입니다. 그 기대대로라면 할 일은 링크를 지키면서 발송량을 늘리는 것뿐이었습니다.

실제로 그 지표는 메일 영업 전체에서 유일하게 움직이던 숫자였습니다. 최근 30일 창으로 보면 클릭 128건, 열람 410건이었습니다. 다른 숫자가 전부 0인 상황에서 움직이는 숫자를 끄는 일은 손해처럼 보였습니다.

숫자 카드 세 장. 최근 30일 열람 410건, 클릭 128건, 클릭이 매출로 이어진 건 0건
유일하게 움직이던 지표와 그 결과
링크 축을 지키는 선택은 0원짜리 지표를 지키느라 유일하게 안 해 본 것을 안 해 보는 선택이었습니다.

무엇으로 확인했나?

감으로 판단하지 않으려고 관측 수단을 셋 썼습니다. 첫째, 발송 기록에서 본문 버전별로 발송·클릭을 따로 셌습니다. v3만 떼어 보면 669건에 클릭 27건이었습니다. 둘째, 리드 목록 파일에서 메일 경로로 들어온 4건을 전부 열어 출처를 확인했습니다. 셋째, 클릭 이후 단계를 따로 본 이전 퍼널 기록을 다시 꺼냈습니다.

2026년 8월 13일 퍼널은 클릭 24건, 랜딩 페이지에서 진단을 시작한 사람 7명, 문의 0건이었습니다. 2주쯤 떨어진 두 시점에서 같은 모양이 나왔습니다. 클릭은 있고, 그다음 단계에서 조금 줄고, 마지막 문의 단계에서 0이 됩니다.

막대 그래프. 2026년 8월 13일 퍼널: 클릭 24, 진단 시작 7, 문의 0
8월 13일 퍼널도 같은 모양이었다
  • 본문 버전별 발송 기록: v3 669건, 클릭 27건
  • 리드 목록 파일 중 메일 경로 4건: 콜드메일 회신 0건
  • 2026년 8월 13일 퍼널: 클릭 24 → 진단 시작 7 → 문의 0
  • 최근 30일 창: 열람 410, 클릭 128

알리바이: 왜 링크를 지키는 쪽이 아니었나?

첫 번째 가설은 두 시점의 퍼널이 반증했습니다. 클릭을 지키면 문의가 온다는 가설이 맞으려면 적어도 한 번은 클릭에서 문의까지 이어진 기록이 있어야 했는데, 두 번 다 끝이 0이었습니다. 클릭이 매출로 이어진 적은 0건이었습니다.

두 번째로 떠오른 설명은 '아직 이르다'였습니다. 2026년 8월 27일에 v3 본문으로 경리 담당자 대상 메일 379건이 나갔고, 그 회신은 아직 도착하는 중이었습니다. 회신 창이 닫힐 때까지 기다렸다가 판단하자는 의견이 자연스러웠습니다.

이 가설도 버렸습니다. v3의 리드 0건은 그 379건이 아니라 이미 나간 669건으로 확정한 값이었습니다. 기다려서 새로 얻을 정보가 없었고, 기다리는 동안 같은 본문은 계속 리드 없는 클릭만 만들었습니다. 그래서 기다리지 않고 바로 실험을 켜되, 그 379건이 기준선을 흔들 수 있다는 사실은 기록에 남겼습니다.

진짜 원인: 한 통에 요청이 세 개였다

남은 설명은 메일 자체의 구조였습니다. 한 통이 정정, 링크 클릭, 회신을 동시에 요구하고 있었습니다. 저희가 앞서 정리해 둔 조사 자료에는 요청이 여러 개면 받는 사람이 고르지 못하고 멈추며, 그렇게 멈춘 메일의 기본 결말은 삭제나 보류라는 내용이 있었습니다. 우리 숫자가 정확히 그 모양이었습니다.

세 요청은 받는 사람에게 서로 다른 일을 시킵니다. 정정은 저희가 추정한 내용이 맞는지 먼저 따져 봐야 하고, 링크는 '24명 규모에서 무엇이 되고 무엇이 안 되는지' 보려고 3분을 내서 다른 페이지로 가야 하며, 회신은 직접 글을 써야 합니다. 셋 중 무엇을 먼저 할지 정하는 일 자체가 하나의 일이 됩니다.

이 설명은 지금까지 본 관측과 어긋나지 않습니다. 링크는 가장 부담이 적은 요청이라 클릭은 조금 나옵니다. 하지만 클릭한 사람도 다음 단계에서 다시 무엇을 할지 골라야 했고, 정정이나 회신은 아무도 하지 않았습니다. 다만 이 설명은 아직 관측과 맞는다는 수준이고, 증명은 아닙니다. 그래서 고친 방법도 증명용 실험으로 설계했습니다.

고친 방법: 본문에서 요청 두 개만 뺐다

2026년 8월 28일, 매일 아침 8시 50분에 발송 큐를 만드는 crontab 줄에 플래그 하나(COLDMAIL_REPLY_ONLY_LIVE=1)를 붙여 회신 전용 본문을 켰습니다. 적용 범위는 수신자 묶음 하나로 한정했습니다. 해시로 짝수에 배정되고 직원 수를 인용할 수 있는 수신자만 새 본문을 받고, 나머지 묶음은 그대로 둡니다.

새 본문은 v3에서 요청 두 개만 뺀 글입니다. 절감 금액을 계산해 보여 주는 문단과 '절감 보장 아님' 같은 표시광고법 대비 문구는 v3와 글자 하나까지 같게 두었습니다. 바꾼 축이 요청 개수 하나여야 결과가 나왔을 때 원인을 그 하나에 돌릴 수 있기 때문입니다. 실제 차이는 4줄 삭제와 2줄 추가였습니다.

여기서 한 번 기준을 고쳤습니다. 처음 만든 회신 전용 본문은 지금 실제로 나가는 v3가 아닌 다른 기준에서 갈라져 나왔고, 그대로 두면 요청 개수 말고 다른 문장까지 함께 달라질 수 있었습니다. 그래서 바로 다음 변경에서 '현재 라이브 v3에서 요청 두 개만 뺀다'로 파생 기준을 바로잡았습니다. 대조군과 실험군이 요청 개수 하나만 다르다는 조건은 이렇게 해서 지킬 수 있었습니다.

남긴 요청 하나도 아무 회신이나 달라는 문장으로 쓰지 않았습니다. '이 업무에 주당 몇 시간이 들어가는지 한 줄만 회신 주시면'처럼 답이 숫자 하나로 끝나게 했고, 그 숫자로 다시 계산한 서면 진단을 보내겠다고 적었습니다. 받는 사람이 무엇을 쓰면 되는지, 쓰고 나면 무엇을 받는지가 한 문장 안에 들어 있어야 고르는 부담이 없습니다.

본문 비교. 왼쪽 v3는 정정 요청, 3분 확인 안내, 지금 확인해 보기 링크가 있고, 오른쪽 회신 전용 본문은 주당 몇 시간이 드는지 한 줄 회신을 요청한다
4줄 삭제 · 2줄 추가

새 본문 길이는 630자로 v3보다 짧아졌습니다. 짧아진 메일은 스팸 필터 반응이 달라질 수 있고, 그건 보내 보기 전에는 모릅니다. 그래서 반송률을 별도 중단 조건으로 걸었습니다. 이 부분은 아래 장치 절에서 다룹니다.

왜 전부 바꾸지 않았나?

대안은 셋이었고 셋 다 버렸습니다. 이유를 남겨 두는 편이 다음 실험 설계에 더 쓸모가 있었습니다.

왜 전부 바꾸지 않았나?
대안버린 이유
모든 수신자 묶음의 본문을 한꺼번에 교체비교할 대조군이 사라져 회신율이 달라져도 원인을 본문에 돌릴 수 없다
링크는 두고 정정 요청만 제거요청이 2개로 남아 '요청이 여럿이면 멈춘다'는 가설을 검증하지 못한다
경리 담당자 대상 379건의 회신 창이 닫힐 때까지 대기리드 0이 669건으로 이미 확정이라 기다려 얻는 정보가 없고, 그동안 리드 없는 클릭만 쌓인다

특히 두 번째 대안이 가장 그럴듯했습니다. 정정 요청은 어색하니 빼고 링크는 살리자는 절충입니다. 하지만 그렇게 하면 실험이 끝난 뒤에도 '요청 개수' 가설이 맞았는지 틀렸는지 말할 수 없습니다. 절충은 마음이 편하지만 답을 주지 않습니다.

같은 실수를 막는 장치: 판정 기준을 켜기 전에 적었다

이 저장소에서는 실험이 '2주 뒤 애매하다'로 끝나는 실패가 반복됐습니다. 결과를 본 뒤에 기준을 정하면 어떤 숫자든 해석할 수 있기 때문입니다. 그래서 이번에는 승인할 때 판정 기준을 먼저 확정하고, 결과가 나온 뒤에는 해석을 바꾸지 않기로 했습니다.

표. 표본 2주 약 300통, 채택 회신 3건 이상, 기각 회신 0~1건, 즉시 중단 반송률 v3 대비 +2%p 초과
실험 전에 확정한 판정 기준

표본은 실험군 평상 발송량 하루 25~35통에 주 5일을 곱해 2주 약 300통으로 잡았습니다. 회신이 3건 이상(1%)이면 v3의 다른 묶음으로 확대를 검토합니다. 0~1건이면 플래그를 지우고 링크 본문으로 돌아갑니다. 요청을 하나로 줄였는데도 회신이 거의 없다면, 막힌 곳이 본문이 아니라는 뜻이기 때문입니다. 그 경우 원인은 본문이 아니라 보낸 목록 쪽이라는 뜻이니 다음 실험은 타깃을 바꿉니다. 판정일은 2026년 9월 11일로 정했습니다.

결과를 비교할 수 있게 저장 구조도 나눴습니다. 발송 기록의 본문 라벨이 v3와 reply_only로 갈려 저장되므로 같은 기간의 두 본문을 나란히 셀 수 있습니다. 되돌리기는 crontab 그 한 줄에서 플래그를 지우면 끝나고, 켜기 전 crontab 전체(292줄)를 백업 파일로 남겼습니다.

마지막 장치는 상수가 아니라 실행으로 확인하는 일이었습니다. 크론과 같은 방식으로 환경변수를 넣고 본문 함수를 돌려 회신 전용 본문이 나오는지, 요청이 '회신' 하나인지, 링크가 없는지, 금액 문단이 남았는지, 길이가 630자인지 확인했습니다. 크론과 같은 명령으로 큐를 만들자 391행 중 178행이 새 본문이었고, 링크와 HTML 버튼은 0개였습니다. 플래그를 지우면 v3로 돌아오는 것도 확인했습니다.

이 검증 중에 하나를 더 잡았습니다. 크론이 도는 로컬 저장소 사본이 원격보다 1커밋 뒤처져 496자짜리 옛 본문을 내고 있었습니다. 그대로 두었다면 정정 전 카피가 나갔을 겁니다. 이 일은 crontab 환경변수로 켠 기능이 구버전 코드로 돌던 기록에 따로 정리했습니다.

이 실험이 아직 답하지 않은 것은 무엇인가?

이 글이 다루는 범위는 원인 가설과 그 가설을 검증하는 실험의 설계까지입니다. 회신 전용 본문이 실제로 회신을 만들었는지는 이 글의 재료에 들어 있지 않으므로 여기에 적지 않습니다. 대신 어떤 결과가 나오든 다음 행동이 정해져 있다는 점이 이번 실험에서 가장 크게 바뀐 부분입니다.

이 선택에는 대가도 있었습니다. 실험군에서는 랜딩 페이지로 가는 다리가 사라집니다. 유일하게 움직이던 클릭 지표를 스스로 끈 셈이고, 그 대가는 클릭이 매출로 이어진 적이 0건이라는 실측으로 치렀습니다.

콜드메일 회신율이 0에 가깝다면 본문을 새로 쓰기 전에 한 통이 받는 사람에게 몇 가지를 요구하는지부터 세어 보길 권합니다. 그리고 바꿀 때는 한 축만 바꾸고, 채택·기각·중단 기준을 보내기 전에 적어 두면 2주 뒤 '애매하다'로 끝나지 않습니다. 메일 클릭이 방문으로 이어지지 않는 구간은 콜드메일 클릭과 사이트 방문 사이의 간극에서 다뤘습니다. 영업 메일 자동화를 함께 설계하고 싶다면 상담으로 연락 주세요.

같은 방식으로 우리 업무를 재보고 싶다면

이 글에 쓴 계측·판정·자동화는 저희가 실제로 매일 돌리는 방식 그대로입니다. 어떤 작업을 자동화할 수 있고 어디를 사람이 잡아야 하는지, 현재 업무 흐름을 놓고 같이 짚어 드립니다.

새 글이 올라오면 알려 드립니다

이런 계측 기록을 새로 쓰면 메일로 한 통 보냅니다. 광고나 판촉은 보내지 않습니다.