증상 — 시작할 때는 두 번 확인하고, 그만둘 때는 그날 바로 끝났다
SGK 스튜디오는 새 판매 상품을 시작하기 전에 AI 에이전트에게 여러 단계 확인을 맡기고 있었다. 수요가 실제로 있는지부터 확인했고, 그다음에는 법과 약관상 해도 되는 일인지까지 따로 확인했다. 두 확인을 모두 통과해야만 다음 단계로 넘어갈 수 있었다.
수요를 확인하는 절차만 해도 여러 단계였다. 핵심 가설을 먼저 세우고, 랜딩페이지나 검색 광고로 실제 반응을 잰 다음, 그 반응이 일정 수준을 넘어야 다음 단계로 넘어갔다. 법과 약관 확인도 마찬가지였다 — 화면에 보이는 기능만 보고 끝내지 않고, 계정 종류부터 공식 안내 문서까지 차례로 열어야 통과였다.
문제는 반대쪽에서 터졌다. 이미 시작한 서비스를 그만두기로 결정하는 쪽에는 이런 확인 절차가 하나도 없었다. 시작할 때는 며칠씩 걸리는 절차를 거치는데, 그만둘 때는 하루도 안 걸렸다.
실제로 벌어진 사고가 그 빈틈을 그대로 드러냈다. 블로그 운영을 대신 맡아 주는 판매 상품을 검토하다가, 고객 계정을 위임할 공식적인 방법이 없다는 결론이 나왔다. 그 결론이 나온 날 안에 상품을 접기로 정했고, 같은 날 고객에게도 통지가 나갔다. 나중에 다시 확인할 시간이 아예 없었다.
이 사고를 계기로 다시 물었다. 시작할 때는 왜 이렇게까지 여러 단계를 거치게 했는지, 그리고 그만둘 때는 왜 아무 단계도 없었는지, 이 두 질문의 답을 나란히 놓고 보기 전까지는 사고 원인이 조사 하나의 문제로만 보였다.
시작할 때는 왜 이렇게 겹겹이 확인했을까?
시작하는 쪽 확인 절차는 실제로 무거웠다. 제품 성격에 따라 확인 강도를 나눴는데, 단순한 도구는 정식 절차의 5%만 따르면 됐지만 로그인과 데이터베이스가 걸린 보통 서비스는 15%, 결제나 개인정보가 걸린 무거운 서비스는 30%를 그대로 따라야 했다.
표준으로 요구하는 산출물만 10개였다 — 제품이 뭘 해결하는지 적은 문서, 화면 구조도, 데이터가 어떻게 흐르는지 정리한 설계 문서 같은 것들이었다. 아무리 단순한 도구라도 위협 요인 점검에는 최소 5분을 썼다. 설계 문서를 한 장이라도 미리 써 두면 나중에 다시 만드는 수고가 80% 줄어든다는 경험치까지 있었다. 시간 예산도 정해 놓았다 — 단순한 도구는 3일, 보통 서비스는 2주, 무거운 서비스는 4주를 넘기면 그 자리에서 억지로 다음 단계로 넘겼다.
확인할 항목은 더 있었다. 사용자 인터뷰는 가능하면 5명에서 10명 사이로 잡았고, 경쟁 서비스는 5개를 찾아 비교했다. 실행 단계에서는 작업 3개를 마치거나 2시간이 지날 때마다 진행 상황을 보고하게 했고, 같은 실수가 3회 겹치면 그 자리에서 멈추고 이전 단계로 돌아가게 했다.
이렇게까지 촘촘하게 확인한 이유가 있었다. 사내 다른 프로젝트에서 이 확인 없이 서둘러 화면(경로)을 32개나 만들어 놓고서야 수요가 없다는 사실을 알아차린 적이 있었다. 그 뒤로는 확인을 못 마치면 자원을 쓰지 못하게 순서 자체를 못 박았다.
처음 의심한 것 — 계정 확인 조사 자체가 부실했다고 봤다
사고를 다시 들여다보기 시작했을 때 가장 먼저 의심한 지점은 단순했다 — 계정을 위임할 방법이 없다고 판단한 그 조사 자체가 부실했다고 봤다. 설정 화면 하나만 보고 결론을 내린 거라면, 조사를 더 꼼꼼히 하면 사고가 안 났을 거라는 가정이었다.
이 가정이 자연스러워 보인 이유가 있었다. 실제로 다시 열어 보니 계정 종류를 하나 더 확인했어야 했다는 게 드러났고, 그 종류에는 공식적인 위임 기능이 있었다. 조사가 얕았던 건 사실이었다. 그래서 처음에는 이 조사 품질 문제만 고치면 재발을 막을 수 있다고 판단했다.
이 가정을 조금 더 파 보면 앞뒤가 맞았다. 조사한 쪽도 확인 대상을 화면에 보이는 기능으로만 한정했다는 걸 인정했고, 계정 종류를 하나 더 열어 봤어야 한다는 지적도 그 자리에서 바로 수긍이 갔다. 원인이 하나로 좁혀지는 것처럼 보였다.
확인 수단 — 판단이 거쳐 온 단계를 다시 열어 보았다
가정을 검증하려고 판단이 거쳐 온 단계를 순서대로 다시 열었다. 서비스 화면에 있는 기능부터, 계정 종류별 권한, 공개된 API, 파트너에게 주는 별도 권한, 고객센터 공식 안내까지 다섯 층을 하나씩 짚었다. 앞선 조사는 첫 번째 층인 화면 기능만 보고 멈췄고, 그다음 층인 계정 종류는 열어 보지 않은 상태였다.
같은 행위를 업으로 하는 다른 사업자가 실제로 있는지도 함께 확인했다. 같은 서비스를 대행하는 업체가 여럿 있는데 전부 위반이라는 결론이 나온다면, 그 결론보다 조사 쪽을 먼저 의심해야 한다는 판단이었다.
위반 여부를 확인하는 것과 별개로, 제재를 누가 맞는지도 다시 짚었다. 회사가 위반하는 경우와 고객이 위반하는 경우는 책임이 완전히 다르고, 제재로 손해를 보는 쪽이 고객의 자산이라면 계약서에 그 부분을 명시하지 않고는 시작할 수 없다는 원칙도 이번에 다시 확인했다.
그 확인 수단은 정확히 무엇을 다시 봤을까?
이 재검증 절차는 세 가지를 순서대로 물었다. 첫째, 확인해야 할 층을 끝까지 다 열었는가. 한 층에서 못 찾고 멈춘 걸 없다고 부르지 않았는가. 둘째, 같은 행위를 업으로 하는 사업자가 많은데 전부 위반이라는 결론이 나왔다면 조사 쪽을 의심했는가. 셋째, 금지 조항이 실제로 규율하는 행위 범위를 정확하게 끊었는가, 아니면 옆에 있는 다른 행위까지 넓게 끌어다 붙였는가.
부정적인 결론, 즉 이건 안 된다는 판단에는 이 세 가지를 다 통과해야만 확정하도록 정해 놓았다. 시작을 허락하는 판단보다 시작을 막는 판단에 더 무거운 증명 책임을 지운 셈이다.
이 확인을 이렇게 무겁게 만든 이유가 따로 있었다. 안 된다는 판정은 사실상 사형선고나 마찬가지였다 — 한번 확정되면 판매 상품 자체가 사라지고 고객에게 통지까지 나가기 때문이다. 그래서 하겠다는 판정보다 안 된다는 판정에 더 높은 근거 품질을 요구하기로 정했다.
조사 품질만 고치면 다음엔 안전해질까?
여기서 반대되는 질문이 나왔다. 조사 품질을 이렇게 끌어올리면 같은 사고가 다시는 안 날까? 실제로 검증해 보니 답은 아니었다.
조사를 아무리 꼼꼼하게 고쳐도, 발견부터 결정, 고객 통지까지 전부 그날 안에 끝내는 절차 자체는 그대로 남아 있었다. 다음번 판단이 또 틀릴 가능성은 여전히 있는데, 그 판단을 다시 확인할 시간이 처음부터 주어지지 않는다면 조사 품질과 무관하게 사고는 또 날 수 있었다.
시작할 때는 신중해야 하고, 그만둘 때는 아무나 빨리 정해도 된다는 전제가 절차 안에 그대로 남아 있었다.
조사 품질 문제만 고친다는 가정은 이 지점에서 무너졌다. 처음 세운 가정이 절반은 맞았지만 나머지 절반, 재확인할 시간 자체가 없었다는 사실은 조사와 별개의 문제였다.
이 패턴은 이번 사고 하나에 그치지 않을 가능성이 컸다. 비슷한 방식으로 판정하는 작업은 앞으로도 반복될 텐데, 그때마다 결론이 나온 날 바로 실행까지 이어진다면 조사 품질을 아무리 끌어올려도 사고가 날 확률은 줄어들 뿐 0이 되지는 않는다. 확률을 줄이는 것과 재확인할 시간을 만드는 것은 서로 다른 대책이었다.
진짜 원인 — 시작하는 쪽에만 심사가 있었다
진짜 원인은 조사 품질이 아니라 절차의 구조에 있었다. 시작하는 쪽에는 수요를 확인하는 단계와 허용 여부를 확인하는 단계가 둘 다 걸려 있었고, 둘 다 통과해야 자원을 쓸 수 있었다. 그만두는 쪽에는 이런 확인 단계가 0개였다.
시작은 신중하게, 그만두는 건 누구나 빨리 정해도 된다는 전제가 절차 안에 그대로 박혀 있었던 셈이다. 그런데 고객에게 이미 나간 통지는 시작을 미루는 것과 무게가 다르다 — 통지는 나가는 순간 되돌릴 수 없다.
시작할 때 며칠씩 확인 절차를 거치게 만든 이유와 그만두는 판단이 그날 안에 확정되는 이유가 같은 회사 안의 같은 절차 문서에 나란히 적혀 있었다. 무게가 한쪽으로만 쏠려 있었다는 사실을 알아차리는 데 시간이 걸렸을 뿐이다.
돌아보면 이유는 짐작이 갔다. 시작하는 판단은 자원을 미리 쓰기 때문에 신중해야 한다는 감각이 있었지만, 그만두는 판단은 이미 벌어진 문제를 서둘러 끝내는 쪽에 가까워서 확인 단계를 끼워 넣는다는 발상 자체가 없었다. 판매 상품을 알릴 채널이 6개월 안에 확보될 수 있는지까지 따지던 절차가, 정작 그 상품을 접을 때는 아무것도 묻지 않았다.
고친 방법 — 그만두는 결정에도 같은 무게의 심사를 얹었다
고친 방법은 그만두는 결정에 시작할 때와 같은 무게의 심사를 그대로 옮기는 것이었다. 시작하는 쪽 절차를 그대로 베끼지는 않았다 — 시작은 자원을 얼마나 쓸지 정하는 판단이고 그만두는 건 이미 벌어진 일을 마무리하는 판단이라, 성격이 다른 만큼 항목도 다시 짰다. 구체적으로 네 가지를 새로 정했다.
- 그만두는 근거를 사실 확인과 가치 판단으로 나눠 적는다. 사실 확인 쪽은 앞서 설명한 세 가지 확인을 다시 거친다
- 근거가 2개 이상이면 각각 따로 검증한다. 하나가 무너지면 나머지 근거도 다시 본다
- 되돌릴 수 없는 조치, 화면 삭제나 광고 중단, 고객 통지는 발견한 날 바로 하지 않는다. 최소 하루는 재확인 시간으로 남긴다
- 다시 검토할 조건을 숫자나 기간처럼 확인 가능한 형태로 남긴다. 더는 안 한다는 식으로만 적어 두지 않는다
이 중에서 세 번째 항목이 사고를 직접 막는 장치였다. 근거를 아무리 잘 갖췄어도 사람이 다시 볼 시간이 없으면 틀린 판단이 그대로 실행된다. 최소 하루라는 재확인 시간은 그 틈을 메우려고 넣었다. 조사를 더 잘하는 것과 재확인할 여유를 주는 것, 둘 다 있어야 같은 사고가 안 반복된다.
이 네 가지를 정하고 나니 시작하는 쪽 절차와 그만두는 쪽 절차가 처음으로 대칭을 이뤘다. 자원을 쓰든 되돌릴 수 없는 조치를 하든, 어느 쪽이든 확인 단계를 거치지 않고는 넘어갈 수 없게 됐다.
같은 실수를 막는 장치 — 그날 바로 되돌릴 수 없는 조치는 하지 않는다
이 절차는 다시 잊히지 않도록 프로젝트 진행 규칙을 적어 두는 문서에 영구 조항으로 넣었다. 시작할 때 쓰는 수요·허용 확인 절차 옆에, 그만둘 때 쓰는 확인 절차를 나란히 적었다.
적발될 확률이 낮다는 사실과 허용된다는 판단은 서로 다른 문제라는 원칙도 같이 못 박았다. 안 걸릴 확률이 높다는 문장이 괜찮다는 결론으로 슬쩍 바뀌는 일이 실제로 있었기 때문이다.
다시 검토할 조건을 남기는 규칙도 같이 넣었다. 그만두기로 정했다고 해서 다시 볼 필요가 없다는 뜻은 아니다 — 없음(폐기)이라고만 적으면 나중에 다시 열어 볼 경로 자체가 사라지기 때문에, 재개 조건을 숫자나 기간으로 못 박아 두게 했다.
확인 절차 하나를 세운다고 판단이 항상 맞아지는 건 아니다. 그날 바로 되돌릴 수 없는 조치를 하지 않는다는 규칙 하나가, 틀린 판단을 다시 볼 시간을 만들어 준다는 사실이 이번에 확인됐다. 시작하는 쪽과 그만두는 쪽 모두에 같은 무게를 지운 뒤로는, 결론이 나온 날과 그 결론이 실행되는 날이 최소한 하루는 떨어져 있게 됐다. 판단이 어디서 갈렸는지를 더 깊이 보고 싶다면 AI 에이전트 오판, 원인은 계정 레이어 확인 누락이었다에서 같은 사고의 조사 단계를 자세히 볼 수 있다. 회사 안의 의사결정 절차에 이런 확인 장치를 놓고 싶다면 상담에서 구체적으로 논의할 수 있다.