AI 에이전트에게 맡긴 시장 조사는 어디까지 확인했나
SGK 스튜디오는 새 판매 상품을 만들기 전에 감으로 고르지 않고 AI 에이전트에게 다섯 단계 확인 절차를 맡겼습니다. 첫 단계는 국세청 통계로 업종별 원가 구조를 봤습니다. 자동차 소매 7.5%, 도매 18.2%처럼 이 비율이 30% 미만이면 혼자 하는 사업 후보에서 뺐고, 음식점 28.9%·교육 38.4%·보건 37.7%를 지나 법무회계상담 67.3%까지 업종별로 순위를 매겼습니다.
이 다섯 단계는 순서를 지키게 설계했습니다. 앞 단계에서 걸러진 후보는 뒤 단계로 넘기지 않았습니다. 매력적인 업종을 찾아 광고비까지 계산해 놓고서 마지막 단계인 허용성 확인에서 접는 낭비를 막으려는 설계였는데, 역설적으로 이번 사고는 그 마지막 단계에서 벌어졌습니다.
두 번째 단계는 실제 거래 플랫폼에서 무엇이 얼마에 팔리는지 확인했습니다. 한 재능마켓 사이트에서 유효 상품 2,000개 중 1,957건을 모아 가격대별 매출 중앙값을 계산했더니, 낮은 가격대보다 높은 가격대 상품의 매출이 88배 더 컸습니다. 세 번째 단계는 검색 광고 데이터로 수요와 광고비를 확인했는데, 넓은 키워드는 클릭 한 번에 25,250원인 반면 구체적인 키워드는 4,270원으로, 검색량이 20배 적어도 광고비는 훨씬 쌌습니다.
네 번째 단계는 그 고객들이 지금 이 문제를 어떻게 처리하고 있는지 직접 세는 단계였습니다. 병원 블로그 1,582개를 조사하니 97.9%가 최근에도 활발히 움직이고 있었고 방치된 곳은 0.6%뿐이었습니다. 다섯 번째 단계가 법과 약관상 해도 되는지 확인하는 단계였습니다. 여기서 AI 에이전트 오판이 한 번 일어났습니다.
이 시스템은 실측이 아닌 값은 전부 '가정'이라고 표시하는 규칙도 같이 씁니다. 완전히 자동화된 상품이 유리해 보여도, 손이 안 드는 상품의 매출이 사람이 계속 붙는 운영형 상품보다 낮다는 실측이 나오면 그 실측을 그대로 따릅니다.
증상 — 계정을 위임할 공식 경로가 없다는 결론이 나왔다
블로그 운영을 대신 맡아 주는 서비스를 검토하던 중이었습니다. 이 서비스가 성립하려면 고객의 블로그 계정을 운영진이 대신 관리할 공식적인 방법이 있어야 했습니다. 고객이 매번 직접 로그인해서 글을 올려 달라고 부탁하는 구조로는 대행 서비스라는 이름을 쓸 수 없었습니다.
AI 에이전트가 이 부분을 확인했고, 결론은 '공식적인 위임 경로가 없다'였습니다. 그 결론을 근거로 이 판매 상품 하나를 그 자리에서 접었습니다. 계정을 나눠서 관리할 방법이 없는 서비스에 위임 대행을 얹으면, 고객 비밀번호를 그대로 넘겨받아 로그인하는 방식밖에 남지 않고 이건 운영 리스크가 너무 컸습니다.
이 검토를 시작한 이유는 단순했습니다. 블로그를 직접 운영할 시간이 없는 고객이 많았고, 콘텐츠만 받아서 대신 올려 주는 서비스에 대한 문의가 이미 들어오고 있었습니다. 계정 위임 경로만 있으면 바로 시작할 수 있는 상태였는데, 그 경로가 막혔다는 결론 하나로 검토 자체가 멈췄습니다.
처음 의심한 것 — 위임 기능 자체가 없는 서비스라고 봤다
AI 에이전트가 맨 처음 의심한 지점은 단순했습니다 — 그 블로그 서비스 자체에 계정을 나눠서 관리하는 기능이 없다고 봤습니다. 로그인한 뒤 설정 메뉴를 하나씩 뒤졌는데 '권한 설정'이나 '공동 관리자' 같은 항목이 보이지 않았습니다.
기능이 없으니 위임할 방법도 없다는 판단으로 자연스럽게 이어졌습니다. 검토 대상은 그 순간부터 '이 서비스는 원천적으로 안 되는 구조'로 좁혀졌고, 다음 확인은 이 판단을 뒷받침할 근거를 더 모으는 방향으로 흘렀습니다.
이 판단이 특별히 이상해 보이지 않았던 이유는 그 순간까지 확인한 모든 정보가 같은 방향을 가리켰기 때문입니다. 설정 화면에도 없고 도움말에도 없으면, 다음으로 열어 볼 만한 곳이 마땅히 떠오르지 않았습니다.
그것을 확인하는 데 쓴 수단 — 설정 화면과 공개 자료를 먼저 뒤졌다
이 판단을 확인하려고 쓴 수단은 두 가지였습니다. 하나는 실제로 로그인한 뒤 설정 화면을 직접 열어 항목을 하나씩 눈으로 확인했고, 다른 하나는 그 서비스가 공개해 둔 도움말 문서를 검색했습니다.
두 수단 모두 같은 결과를 냈습니다 — 계정을 나눠서 관리하는 기능이 화면 어디에도 없었고, 도움말 문서에도 그런 기능을 설명하는 항목이 없었습니다. 서로 다른 두 경로에서 같은 답이 나오니 판단은 더 굳어졌습니다.
두 수단 모두 그 서비스에 이미 로그인한 상태에서만 접근할 수 있는 화면과 문서였습니다. 로그인하지 않은 상태에서 볼 수 있는 공개 자료, 이를테면 그 서비스가 다른 회사와 맺은 제휴나 대량 이용자를 위해 따로 공개한 자료는 그 시점에 열어 보지 않았습니다.
알리바이 — 기능이 없다고 경로까지 없는 건 아니었다
확인한 것을 다시 짚어 보니 구멍이 보였습니다. AI 에이전트가 확인한 곳은 그 서비스 자체의 기능 화면과 공개 도움말, 딱 두 곳뿐이었습니다. 이 두 곳은 개인 계정으로 로그인한 상태에서 볼 수 있는 화면이 전부였습니다.
실제로 이런 서비스는 두 곳보다 훨씬 여러 층으로 이뤄져 있습니다 — 서비스 자체 기능, 계정을 어떤 종류로 만들었는지에 따라 달라지는 계정 층, 외부에 공개된 프로그램 연동 창구, 파트너나 대리점에게만 열린 프로그램, 그리고 고객센터가 공식적으로 안내하는 문서까지 다섯 층입니다.
AI 에이전트는 이 다섯 층 중 첫 번째 층만 보고 나머지 네 층은 아예 열어 보지 않았습니다. 기능 화면에 없다는 사실은 '그 서비스로는 안 된다'는 증거가 아니라 '한 층만 봤다'는 증거였을 뿐입니다.
왜 계정 레이어를 놓쳤을까
같은 서비스를 이미 업으로 하는 사업자가 여럿 있다는 사실을 그 순간에는 떠올리지 못했습니다. 수많은 업체가 같은 위험을 무릅쓰고 있을 확률보다, 조사가 한 층에서 멈췄을 확률이 훨씬 높았습니다.
'그러면 저 업체들은 지금 어떻게 하고 있지?'라는 질문을 던지지 않은 채로 넘어갔고, 그래서 계정 레이어를 놓쳤습니다. 결론이 이미 나왔다고 여기는 순간, 그 결론과 어긋나는 사례를 찾아보려는 동작 자체가 멈춥니다.
이런 오판은 이번 한 번만의 우연이 아니라 구조적으로 반복될 수 있는 패턴입니다. 한 곳에서 근거를 못 찾으면 다음 곳을 더 찾아보기보다 '없다'는 결론으로 빠르게 수렴하려는 경향이 있었고, 이 경향이 계정 레이어를 그대로 지나치게 만들었습니다.
진짜 원인 — 계정 종류 하나가 통째로 빠져 있었다
다시 조사하면서 이번에는 기능 화면이 아니라 계정 종류부터 봤습니다. 그 블로그 서비스에는 개인 계정 말고 단체용으로 만든 계정 종류가 따로 있었고, 가입 대상에 개인사업자도 포함돼 있었습니다.
이 계정으로 가입하면 구성원 각자가 자기 비밀번호로 로그인해서 글을 올릴 수 있었습니다. 정확히 그 서비스가 필요로 하던 공식 위임 경로였습니다. 처음 봤던 설정 화면에는 이 계정 종류에 대한 안내가 아예 없었습니다 — 개인 계정으로 로그인한 상태에서는 보이지 않는 기능이었기 때문입니다.
기능이 없다고 판단한 그 화면 자체가, 애초에 그 기능을 가진 계정 종류가 아니었습니다. 화면을 아무리 자세히 뒤져도 답은 안 나옵니다 — 화면이 아니라 계정 종류를 바꿔야 보이는 기능이었기 때문입니다.
이 계정 종류를 찾은 뒤에는 그 서비스가 공개한 이용약관과 가입 안내 문서를 다시 열어 가입 대상에 개인사업자가 포함되는지 직접 확인했습니다. 문서에는 단체회원 가입 대상이 명확히 적혀 있었고, 처음 검토에서는 이 문서 자체를 열지 않았습니다.
설정 화면에 위임 기능이 없다 → 위임할 공식 경로가 없다고 판정 → 판매 상품을 접는다. 이 세 문장 중 첫 문장만 사실이었고, 두 번째 문장은 첫 문장에서 자동으로 따라 나오지 않았습니다.
고친 방법 — 부정적인 결론 앞에 3단계 확인을 세웠다
이 사고 이후로 '공식 경로가 없다'거나 '금지다'라는 결론을 내리기 전에 반드시 통과해야 하는 확인 절차 세 가지를 만들었습니다.
- 레이어 전수 — 기능 화면뿐 아니라 계정 종류·공개 연동 창구·파트너 프로그램·고객센터 공식 문서까지 다섯 곳을 확인한다.
- 시장 다수 반증 — 같은 행위를 업으로 하는 사업자가 이미 여럿이라면, '전부 위반'이라는 결론보다 조사가 덜 됐을 확률을 먼저 의심한다.
- 금지 조항의 사정거리 — 조항이 실제로 금지하는 행위가 무엇인지 좁혀서 읽는다. 운영 방식을 제약하는 조항과 그 일 자체를 금지하는 조항은 다르다.
세 확인 중 하나라도 안 끝났으면 '없다'는 문장을 쓰지 않기로 했습니다. 대신 '아직 못 찾았다'로 적어 두면, 나중에 누가 다시 열어 봐도 조사가 끝난 줄 알고 넘어가는 일이 없습니다.
이 사고에서 하나 더 배운 것도 있었습니다. '위반이라 못 한다'는 판단과 '확장하기 어려워 매력이 없다'는 판단을 같은 결론처럼 섞어 쓰고 있었습니다. 둘은 서로 다른 질문에 대한 답인데, 한쪽 근거로 다른 쪽 결론을 내리면 나중에 어느 쪽이 진짜 이유였는지 되짚을 수 없게 됩니다. 그래서 이제는 이 둘을 항상 따로 적습니다.
확인 절차를 세 단계로 딱 자른 이유는 단계가 많을수록 실제로는 안 지켜지기 때문입니다. 다섯 층을 일일이 다 문서로 남기라고 하면 부담이 커서 다음에도 건너뛰기 쉽습니다. 레이어를 세는 것, 반대 사례를 찾는 것, 조항 범위를 좁히는 것, 이 세 가지만 통과하면 된다고 정해 두니 실제로 매번 지켜졌습니다.
같은 실수를 막는 장치 — 접는 결정에도 같은 심사를 넣었다
이 사고를 계기로 또 하나 드러난 문제가 있었습니다. 새 판매 상품을 시작할 때는 앞서 본 다섯 단계 확인 절차가 있었는데, 반대로 상품을 접는 결정에는 그런 절차가 없었습니다. 시작할 때보다 접을 때 오히려 검증이 헐거웠고, 이번 사고도 그 틈에서 벌어졌습니다.
- 접는 근거가 사실 판정인지 가치 판단인지 나눠 적는다. 사실 판정이면 위 3단계 확인을 통과해야 한다.
- 근거가 두 개 이상이면 각각 따로 검증한다. 하나가 무너지면 나머지도 다시 본다.
- 그날 안에 되돌릴 수 없는 조치(고객 안내 발송, 페이지 삭제 등)를 하지 않는다. 최소 하루는 다시 확인할 시간을 둔다.
- 접은 이유를 적을 때 다시 시작할 조건을 숫자로 남긴다. '없음'이라고만 적으면 재검토할 방법이 사라진다.
이 비대칭은 승인 절차 전반에서 반복되는 패턴이었습니다. 새로 시작하는 일에는 확인 단계를 촘촘히 두면서 멈추거나 접는 일에는 같은 밀도를 두지 않는 경우가 많았습니다. 이 문제를 승인 지점 자체를 다시 설계하는 방식으로 다룬 기록은 AI 에이전트 승인 게이트를 다룬 글에 정리해 뒀습니다.
지금은 다섯 단계 절차 자체도 접는 방향까지 대칭으로 다시 짰습니다. 시작할 때 통과해야 하는 확인과 접을 때 통과해야 하는 확인이 같은 무게를 가지면, 이번처럼 마지막 층 하나를 빠뜨리고 큰 결정을 내리는 일이 줄어듭니다.
다섯 개 층 중 하나만 보고 결론을 내리는 습관은 시장 조사가 아닌 다른 조사에서도 똑같이 나타날 수 있습니다. 그래서 이 3단계 확인은 허용성 판단 하나에만 묶어 두지 않고, AI 에이전트가 '없다'는 결론을 내리는 모든 조사에 공통으로 적용하기로 했습니다.
판매 상품 하나를 접기 전 같은 방식으로 확인받고 싶다면 상담에서 문의할 수 있습니다.