증상: 시험 20개 중 18개가 초록인데 무엇이 빠졌나?
Next.js after 메일 발송 구조에서 저희가 본 증상은 이랬습니다. 카카오 문의 접수 챗봇의 스파이크(정식 개발 전 구조를 확인하는 짧은 시제품)가 시험 항목 20개 중 18개를 초록불로 끝냈습니다. 챗봇은 고객 질문을 받으면 접수 안내를 돌려주고, 같은 내용을 담당 부서 메일로 넘깁니다. 시험 결과만 보면 이 흐름은 거의 완성에 가까웠습니다.
그런데 서버 로그를 열어 보니 메일 발송 결과 칸에 `{"outcome":"resend_400"}` 이 전 건 찍혀 있었습니다. 고객 쪽 응답은 전부 정상이었고, 담당자 쪽 메일은 한 통도 나가지 않은 상태였습니다. 초록불 18개와 실패 로그 전 건이 같은 실행에서 동시에 나온 셈입니다.

나중에 정리해 보니, 로컬 키 문제를 걷어낸 뒤에도 남는 실제 결함은 발송의 3/4을 잃는 수준이었습니다. 8건이 한꺼번에 몰리면 2건만 나가고 6건은 흔적 없이 사라졌습니다. 이 글은 그 3/4이 왜 시험에 잡히지 않았는지, 그리고 처음 짚은 원인이 왜 전부가 아니었는지를 순서대로 적은 기록입니다.
접수 챗봇의 실패는 왜 유독 조용한가?
접수 챗봇은 실패가 밖으로 드러나지 않는 구조입니다. 고객은 5초 안에 접수 안내를 이미 받았습니다. 담당자는 아무 메일도 받지 못했습니다. 그리고 두 사람 모두 둘 사이가 어긋났다는 사실을 모릅니다. 고객은 기다리고, 담당자는 문의가 없다고 생각합니다.
이렇게 된 까닭은 설계 자체에 있습니다. Next.js의 after()는 응답을 먼저 보낸 뒤에 실행할 일을 맡기는 함수입니다. 카카오 챗봇은 응답 시간이 짧아야 하므로, 고객 안내를 먼저 돌려주고 메일 발송은 after() 뒤로 미루는 구성이 자연스럽습니다. 문제는 이 구성에서 메일 발송이 실패해도 이미 나간 응답은 바뀌지 않는다는 점입니다. 응답 코드는 200 그대로이고, 실패는 서버 로그 한 줄로만 남습니다.

그래서 이 구조에서는 “고객이 안내를 받았다”와 “담당자가 메일을 받았다”가 서로 다른 사건입니다. 앞의 것은 응답으로 확인할 수 있고, 뒤의 것은 발송 결과를 따로 세야만 확인할 수 있습니다. 저희 스파이크는 앞의 것만 재고 있었습니다.
처음 의심한 것: 초록불을 믿었고, 그다음엔 키를 의심했다
첫 번째 가설은 가설이라고 부르기도 어려운 것이었습니다. 시험 20개 중 18개가 통과했으니 흐름은 정상이고, 남은 2개만 손보면 된다고 봤습니다. 이 가설은 서버 로그 한 줄에 무너졌습니다. 발송 결과가 전 건 resend_400이라면, 초록불 18개 중 어느 것도 메일이 나갔는지를 확인하지 않았다는 뜻이었습니다.
두 번째로 짚은 것은 키였습니다. 400은 요청 자체가 거부당했다는 신호이고, 전 건이 똑같이 실패했다면 개별 문의 내용보다 공통 설정을 의심하는 편이 맞습니다. 실제로 로컬 환경변수에 들어 있던 메일 API 키는 진짜 키가 아니라 `[SENSITIVE]` 라는 자리표시 문자열이었습니다. 키가 가짜라면 전 건 400은 깔끔하게 설명됩니다.
이 지점에서 멈출 수도 있었습니다. 로컬 키만 진짜로 바꾸면 운영 환경에서는 문제가 없다고 정리하는 쪽입니다. 원인이 하나 나왔고, 그 원인이 관측된 증상을 전부 설명하는 것처럼 보였기 때문입니다.
확인에 쓴 수단: 시험 결과가 아니라 서버 로그를 셌다
이 사건에서 쓸모가 있었던 관측 수단은 하나였습니다. 시험 도구의 통과·실패 표시가 아니라, after() 안에서 메일 API 호출 결과를 한 줄씩 남기는 서버 로그였습니다. 로그의 `outcome` 칸은 발송이 실제로 어떻게 끝났는지를 적습니다. 시험 도구는 응답을 보고, 이 로그는 도달을 봅니다.
확인 방법도 단순했습니다. 같은 실행에서 시험 결과와 로그 줄 수를 나란히 놓고, 보낸 건수와 성공한 발송 건수가 맞는지 셌습니다. 키 문제가 섞여 있는 동안에는 전 건 실패라 차이가 보이지 않았습니다. 진짜 키로 바꾼 뒤에야 이 비교가 의미를 갖기 시작했습니다.
알리바이: 플레이스홀더 키는 왜 원인의 전부가 아니었나?
플레이스홀더 키는 실제로 있었던 문제입니다. 다만 로컬 환경에만 있는 문제였습니다. 운영 환경에는 진짜 키가 들어가므로, 이 원인만으로는 “운영에서도 메일이 사라진다”를 설명하지 못합니다. 전 건 400을 설명하는 데는 충분했지만, 그 400이 다른 결함을 덮고 있을 가능성은 남아 있었습니다.
키를 걷어내자 그 가능성이 현실로 드러났습니다. 문의 8건을 한꺼번에 보내는 폭주 상황에서 메일은 2건만 나갔습니다. 나머지는 메일 API가 돌려준 429, 즉 요청이 너무 잦다는 응답을 받고 끝났습니다. 키가 진짜여도 사라지는 메일이었고, 운영 환경에서도 똑같이 일어날 결함이었습니다.

정리하면 원인은 둘이 겹쳐 있었습니다. 하나는 로컬에서만 생기는 키 문제였고, 다른 하나는 운영에도 그대로 가는 재시도 누락이었습니다. 첫 번째 원인이 증상을 다 설명하는 것처럼 보였기 때문에 두 번째 원인은 그 아래에서 보이지 않았습니다. “설명이 하나 나왔다”와 “원인을 다 찾았다”는 같은 말이 아니었습니다.
진짜 원인: after() 뒤에서 429를 맞고 끝나는 발송
실제 결함은 발송 코드에 429 재시도가 없다는 점이었습니다. 메일 API는 짧은 시간에 요청이 몰리면 429로 잠시 기다리라고 답합니다. 이 응답은 영구 실패가 아니라 “조금 뒤에 다시 보내라”는 뜻이므로, 다시 보내면 대부분 나갑니다. 저희 코드는 429를 받으면 그대로 끝냈습니다.
이 결함이 시험에 잡히지 않은 이유는 앞에서 본 구조와 맞물립니다. 발송이 after() 뒤에서 일어나므로 429를 받든 성공하든 고객 응답은 이미 200으로 나간 뒤입니다. 시험 항목은 그 200과 안내 문구를 확인했고, 그래서 통과했습니다. 스파이크의 통과 항목은 응답만 재고 있었지 도달은 재지 않았습니다.
평소에는 이 결함이 잘 보이지 않는다는 점도 중요합니다. 문의가 한 건씩 띄엄띄엄 들어오면 429가 날 일이 드뭅니다. 문의가 몰리는 순간에만 메일이 사라지고, 그 순간은 고객사에 가장 바쁜 때입니다. 가장 많이 놓치면 안 되는 때에 가장 많이 놓치는 구조였습니다.
고친 방법: 429 재시도를 넣고, 시험이 그 차이를 구분하는지 확인했다
고친 것은 두 가지입니다. 하나는 발송 코드에 429 재시도를 넣은 것이고, 다른 하나는 그 수리를 시험이 실제로 구분해 내는지 확인한 것입니다. 두 번째가 더 중요했습니다. 원래 시험은 재시도가 있든 없든 똑같이 초록이었을 테니, 수리했다는 말을 시험으로는 증명할 수 없었습니다.
그래서 같은 8건 폭주를 두 빌드에 걸었습니다. 재시도가 없는 빌드는 8건 중 2건을 보냈고, 재시도가 있는 빌드는 8건 중 8건을 보냈습니다. 이 차이가 나와야 시험이 판별력을 가졌다고 말할 수 있습니다. 결함이 있는 빌드에서 빨간불이 켜지지 않는 시험은 결함이 없는 빌드에서 초록불이 켜져도 아무 의미가 없습니다.

재시도의 간격이나 최대 횟수 같은 세부 값은 이 날의 기록에 남아 있지 않아 여기 적지 않습니다. 기록에 남은 것은 재시도 유무에 따라 2/8과 8/8이 갈렸다는 결과뿐이고, 이 글도 그 결과까지만 말합니다.
같은 실수를 막는 장치: 응답 검사와 따로 도달을 센다
이 사건에서 남긴 규칙은 한 문장입니다. 외부 발송이 after() 같은 백그라운드로 빠지는 설계에서는, 응답 검사와 별도로 발송 결과 로그를 세는 검사를 스파이크에 넣습니다. 응답 200은 발송의 증거가 아닙니다.
- 응답 검사: 고객에게 돌아가는 응답 코드와 안내 문구를 확인한다. 기존 시험이 하던 일이다.
- 도달 검사: 같은 실행에서 발송 결과 로그를 읽어, 보낸 건수와 성공 건수가 맞는지 센다. 하나라도 어긋나면 실패다.
- 폭주 시험: 한 건씩이 아니라 여러 건을 한꺼번에 보내 본다. 429는 몰릴 때만 나온다.
- 판별력 확인: 결함을 일부러 남긴 빌드에서 시험이 실제로 빨간불을 켜는지 본다. 재시도 없는 빌드 2/8, 있는 빌드 8/8처럼 차이가 나와야 한다.
핵심은 “무엇을 재고 있는가”를 시험 항목마다 적어 보는 일입니다. 저희 시험 20개는 전부 응답 쪽을 재고 있었고, 도달을 재는 항목은 0개였습니다. 초록불의 개수가 아니라 초록불이 가리키는 대상이 문제였습니다. 같은 구조의 다른 각도는 메일 발송 실패 감지: 응답 200만 재던 시험에서도 다뤘습니다.
같은 날 나온 조용한 실패 두 개는 무엇이 닮았나?
같은 날, 같은 접수 챗봇과 메일 발송 작업에서 비슷한 모양의 실패가 두 번 더 나왔습니다. 셋 다 예외를 던지지 않았고, 화면이나 시험으로는 정상처럼 보였습니다.
첫째는 카카오 이미지 보안전송입니다. 이미지 목록을 담은 `secureUrls` 값이 JSON 배열이 아니라 Scala `List(...)` 를 문자열로 바꾼 형태로 들어옵니다. 이걸 `JSON.parse` 로 받으면 예외도 나지 않고 전 건이 조용히 0장이 됩니다. 게다가 공식 문서 원문에 “이미지의 URL은 최대 10분간 유지됩니다”라고 적혀 있어, 링크를 메일에 넣으면 담당자가 30분 뒤 열었을 때 이미 죽어 있습니다. 받는 즉시 내려받아 첨부로 바꾸는 것이 선택이 아니라 요건이었습니다. 이 기능은 비즈니스 채널 전환(사업자 심사 영업일 3~5일, 채널 마스터만 신청 가능)까지 요구해, 일정의 임계 경로가 저희가 아니라 고객사에 있었습니다.
둘째는 회신 메일 초안 파서입니다. 파서가 “6번째 줄 이후 첫 `----`”를 본문 시작으로 잡았는데, 초안 머리말 안에 구분선을 하나 더 그었더니 가격 판단 근거·PR 번호·내부 파일 경로가 통째로 본문에 실렸습니다. 본문 길이는 정상 3,276자에서 3,944자로 늘어 있었고, 발송 전 미리보기 출력을 눈으로 읽고서야 잡혔습니다. 형식 검사(grep 2줄)는 이 유출을 잡지 못했습니다. 시작 기준을 자유 형식인 머리말이 아니라 바뀌지 않는 `[제목]` 표시 뒤로 옮기고, 회귀 테스트 5건으로 고정했습니다.

세 사건의 공통점은 “겉으로 확인한 것”과 “실제로 확인해야 했던 것”이 달랐다는 점입니다. 응답과 도달, 파싱 성공과 이미지 장수, 형식 검사 통과와 본문 내용이 각각 어긋나 있었습니다. 앞의 것만 보는 검사는 뒤의 것이 틀려도 초록불을 켭니다. 파서 사건의 자세한 경과는 Python 메일 자동 발송: 구분선 파서가 내부 메모를 본문에 실은 이유에 따로 적었습니다.
정리: Next.js after 메일 발송을 쓰고 있다면
Next.js after 메일 발송 구조는 응답을 빠르게 만드는 대신 실패를 응답에서 떼어 냅니다. 그 대가로 시험은 응답 말고 도달을 따로 세야 합니다. 저희는 시험 20개 중 18개 초록이라는 숫자를 먼저 믿었고, 그다음엔 플레이스홀더 키라는 그럴듯한 원인에서 멈출 뻔했습니다. 서버 로그를 세고, 키를 걷어내고, 폭주를 걸고 나서야 8건 중 2건이라는 진짜 숫자가 나왔습니다.
문의 접수, 예약 알림, 담당자 통보처럼 고객이 “받았다”는 안내를 먼저 보는 자동화라면 같은 구조의 위험이 있습니다. 지금 쓰는 시스템이 응답만 재고 있는지, 실제 도달까지 세고 있는지 점검이 필요하면 상담으로 남겨 주세요.