AI 에이전트에게 맡긴 시장 조사는 어디까지 확인했나
SGK 스튜디오는 새 판매 상품을 만들기 전에 감으로 고르지 않고 AI 에이전트에게 다섯 단계 확인 절차를 맡겼습니다. 첫 단계는 국세청 통계로 업종별 원가 구조를 봤습니다. 자동차 소매 7.5%, 도매 18.2%처럼 이 비율이 30% 미만이면 혼자 하는 사업 후보에서 뺐고, 음식점 28.9%·교육 38.4%·보건 37.7%를 지나 법무회계상담 67.3%까지 업종별로 순위를 매겼습니다.
이 다섯 단계는 순서를 지키게 설계했습니다. 앞 단계에서 걸러진 후보는 뒤 단계로 넘기지 않았습니다. 매력적인 업종을 찾아 광고비까지 계산해 놓고서 마지막 단계인 허용성 확인에서 접는 낭비를 막으려는 설계였는데, 역설적으로 이번 사고는 그 마지막 단계에서 벌어졌습니다.
두 번째 단계는 실제 거래 플랫폼에서 무엇이 얼마에 팔리는지 확인했습니다. 한 재능마켓 사이트에서 유효 상품 2,000개 중 1,957건을 모아 가격대별 매출 중앙값을 계산했더니, 낮은 가격대보다 높은 가격대 상품의 매출이 88배 더 컸습니다. 세 번째 단계는 검색 광고 데이터로 수요와 광고비를 확인했는데, 넓은 키워드는 클릭 한 번에 25,250원인 반면 구체적인 키워드는 4,270원으로, 검색량이 20배 적어도 광고비는 훨씬 쌌습니다.
네 번째 단계는 그 고객들이 지금 이 문제를 어떻게 처리하고 있는지 직접 세는 단계였습니다. 병원 블로그 1,582개를 조사하니 97.9%가 최근에도 활발히 움직이고 있었고 방치된 곳은 0.6%뿐이었습니다. 다섯 번째 단계가 법과 약관상 해도 되는지 확인하는 단계였습니다. 여기서 AI 에이전트 오판이 한 번 일어났습니다.
이 시스템은 실측이 아닌 값은 전부 '가정'이라고 표시하는 규칙도 같이 씁니다. 완전히 자동화된 상품이 유리해 보여도, 손이 안 드는 상품의 매출이 사람이 계속 붙는 운영형 상품보다 낮다는 실측이 나오면 그 실측을 그대로 따릅니다.
증상: 계정을 위임할 공식 경로가 없다는 결론이 나왔다
블로그 운영을 대신 맡아 주는 서비스를 검토하던 중이었습니다. 이 서비스가 성립하려면 고객의 블로그 계정을 운영진이 대신 관리할 공식적인 방법이 있어야 했습니다. 고객이 매번 직접 로그인해서 글을 올려 달라고 부탁하는 구조로는 대행 서비스라는 이름을 쓸 수 없었습니다.
AI 에이전트가 이 부분을 확인했고, 결론은 '공식적인 위임 경로가 없다'였습니다. 그 결론을 근거로 이 판매 상품 하나를 그 자리에서 접었습니다. 계정을 나눠서 관리할 방법이 없는 서비스에 위임 대행을 얹으면, 고객 비밀번호를 그대로 넘겨받아 로그인하는 방식밖에 남지 않고 이건 운영 리스크가 너무 컸습니다.
이 검토를 시작한 이유는 단순했습니다. 블로그를 직접 운영할 시간이 없는 고객이 많았고, 콘텐츠만 받아서 대신 올려 주는 서비스에 대한 문의가 이미 들어오고 있었습니다. 계정 위임 경로만 있으면 바로 시작할 수 있는 상태였는데, 그 경로가 막혔다는 결론 하나로 검토 자체가 멈췄습니다.
처음 의심한 것: 위임 기능 자체가 없는 서비스라고 봤다
AI 에이전트가 맨 처음 의심한 지점은 단순했습니다. 그 블로그 서비스 자체에 계정을 나눠서 관리하는 기능이 없다고 봤습니다. 로그인한 뒤 설정 메뉴를 하나씩 뒤졌는데 '권한 설정'이나 '공동 관리자' 같은 항목이 보이지 않았습니다.
기능이 없으니 위임할 방법도 없다는 판단으로 자연스럽게 이어졌습니다. 검토 대상은 그 순간부터 '이 서비스는 원천적으로 안 되는 구조'로 좁혀졌고, 다음 확인은 이 판단을 뒷받침할 근거를 더 모으는 방향으로 흘렀습니다.
이 판단이 특별히 이상해 보이지 않았던 이유는 그 순간까지 확인한 모든 정보가 같은 방향을 가리켰기 때문입니다. 설정 화면에도 없고 도움말에도 없으면, 다음으로 열어 볼 만한 곳이 마땅히 떠오르지 않았습니다.
그것을 확인하는 데 쓴 수단: 설정 화면과 공개 자료를 먼저 뒤졌다
이 판단을 확인하려고 쓴 수단은 두 가지였습니다. 하나는 실제로 로그인한 뒤 설정 화면을 직접 열어 항목을 하나씩 눈으로 확인했고, 다른 하나는 그 서비스가 공개해 둔 도움말 문서를 검색했습니다.
두 수단 모두 같은 결과를 냈습니다. 계정을 나눠서 관리하는 기능이 화면 어디에도 없었고, 도움말 문서에도 그런 기능을 설명하는 항목이 없었습니다. 서로 다른 두 경로에서 같은 답이 나오니 판단은 더 굳어졌습니다.
두 수단 모두 그 서비스에 이미 로그인한 상태에서만 접근할 수 있는 화면과 문서였습니다. 로그인하지 않은 상태에서 볼 수 있는 공개 자료, 이를테면 그 서비스가 다른 회사와 맺은 제휴나 대량 이용자를 위해 따로 공개한 자료는 그 시점에 열어 보지 않았습니다.
알리바이: 기능이 없다고 경로까지 없는 건 아니었다
확인한 것을 다시 짚어 보니 구멍이 보였습니다. AI 에이전트가 확인한 곳은 그 서비스 자체의 기능 화면과 공개 도움말, 딱 두 곳뿐이었습니다. 이 두 곳은 개인 계정으로 로그인한 상태에서 볼 수 있는 화면이 전부였습니다.
실제로 이런 서비스는 두 곳보다 훨씬 여러 층으로 이뤄져 있습니다. 서비스 자체 기능, 계정을 어떤 종류로 만들었는지에 따라 달라지는 계정 층, 외부에 공개된 프로그램 연동 창구, 파트너나 대리점에게만 열린 프로그램, 그리고 고객센터가 공식적으로 안내하는 문서까지 다섯 층입니다.
AI 에이전트는 이 다섯 층 중 첫 번째 층만 보고 나머지 네 층은 아예 열어 보지 않았습니다. 기능 화면에 없다는 사실은 '그 서비스로는 안 된다'는 증거가 아니라 '한 층만 봤다'는 증거였을 뿐입니다.
왜 계정 레이어를 놓쳤을까
같은 서비스를 이미 업으로 하는 사업자가 여럿 있다는 사실을 그 순간에는 떠올리지 못했습니다. 수많은 업체가 같은 위험을 무릅쓰고 있을 확률보다, 조사가 한 층에서 멈췄을 확률이 훨씬 높았습니다.
'그러면 저 업체들은 지금 어떻게 하고 있지?'라는 질문을 던지지 않은 채로 넘어갔고, 그래서 계정 레이어를 놓쳤습니다. 결론이 이미 나왔다고 여기는 순간, 그 결론과 어긋나는 사례를 찾아보려는 동작 자체가 멈춥니다.
이런 오판은 이번 한 번만의 우연이 아니라 구조적으로 반복될 수 있는 패턴입니다. 한 곳에서 근거를 못 찾으면 다음 곳을 더 찾아보기보다 '없다'는 결론으로 빠르게 수렴하려는 경향이 있었고, 이 경향이 계정 레이어를 그대로 지나치게 만들었습니다.
진짜 원인: 계정 종류 하나가 통째로 빠져 있었다
다시 조사하면서 이번에는 기능 화면이 아니라 계정 종류부터 봤습니다. 그 블로그 서비스에는 개인 계정 말고 단체용으로 만든 계정 종류가 따로 있었고, 가입 대상에 개인사업자도 포함돼 있었습니다.
이 계정으로 가입하면 구성원 각자가 자기 비밀번호로 로그인해서 글을 올릴 수 있었습니다. 정확히 그 서비스가 필요로 하던 공식 위임 경로였습니다. 처음 봤던 설정 화면에는 이 계정 종류에 대한 안내가 아예 없었습니다. 개인 계정으로 로그인한 상태에서는 보이지 않는 기능이었기 때문입니다.
기능이 없다고 판단한 그 화면 자체가, 애초에 그 기능을 가진 계정 종류가 아니었습니다. 화면을 아무리 자세히 뒤져도 답은 안 나옵니다. 화면이 아니라 계정 종류를 바꿔야 보이는 기능이었기 때문입니다.
이 계정 종류를 찾은 뒤에는 그 서비스가 공개한 이용약관과 가입 안내 문서를 다시 열어 가입 대상에 개인사업자가 포함되는지 직접 확인했습니다. 문서에는 단체회원 가입 대상이 명확히 적혀 있었고, 처음 검토에서는 이 문서 자체를 열지 않았습니다.
설정 화면에 위임 기능이 없다 → 위임할 공식 경로가 없다고 판정 → 판매 상품을 접는다. 이 세 문장 중 첫 문장만 사실이었고, 두 번째 문장은 첫 문장에서 자동으로 따라 나오지 않았습니다.
고친 방법: 부정적인 결론 앞에 3단계 확인을 세웠다
이 사고 이후로 '공식 경로가 없다'거나 '금지다'라는 결론을 내리기 전에 반드시 통과해야 하는 확인 절차 세 가지를 만들었습니다.
- 레이어 전수: 기능 화면뿐 아니라 계정 종류·공개 연동 창구·파트너 프로그램·고객센터 공식 문서까지 다섯 곳을 확인한다.
- 시장 다수 반증: 같은 행위를 업으로 하는 사업자가 이미 여럿이라면, '전부 위반'이라는 결론보다 조사가 덜 됐을 확률을 먼저 의심한다.
- 금지 조항의 사정거리: 조항이 실제로 금지하는 행위가 무엇인지 좁혀서 읽는다. 운영 방식을 제약하는 조항과 그 일 자체를 금지하는 조항은 다르다.
세 확인 중 하나라도 안 끝났으면 '없다'는 문장을 쓰지 않기로 했습니다. 대신 '아직 못 찾았다'로 적어 두면, 나중에 누가 다시 열어 봐도 조사가 끝난 줄 알고 넘어가는 일이 없습니다.
이 사고에서 하나 더 배운 것도 있었습니다. '위반이라 못 한다'는 판단과 '확장하기 어려워 매력이 없다'는 판단을 같은 결론처럼 섞어 쓰고 있었습니다. 둘은 서로 다른 질문에 대한 답인데, 한쪽 근거로 다른 쪽 결론을 내리면 나중에 어느 쪽이 진짜 이유였는지 되짚을 수 없게 됩니다. 그래서 이제는 이 둘을 항상 따로 적습니다.
확인 절차를 세 단계로 딱 자른 이유는 단계가 많을수록 실제로는 안 지켜지기 때문입니다. 다섯 층을 일일이 다 문서로 남기라고 하면 부담이 커서 다음에도 건너뛰기 쉽습니다. 레이어를 세는 것, 반대 사례를 찾는 것, 조항 범위를 좁히는 것, 이 세 가지만 통과하면 된다고 정해 두니 실제로 매번 지켜졌습니다.
같은 실수를 막는 장치: 접는 결정에도 같은 심사를 넣었다
이 사고를 계기로 또 하나 드러난 문제가 있었습니다. 새 판매 상품을 시작할 때는 앞서 본 다섯 단계 확인 절차가 있었는데, 반대로 상품을 접는 결정에는 그런 절차가 없었습니다. 시작할 때보다 접을 때 오히려 검증이 헐거웠고, 이번 사고도 그 틈에서 벌어졌습니다.
- 접는 근거가 사실 판정인지 가치 판단인지 나눠 적는다. 사실 판정이면 위 3단계 확인을 통과해야 한다.
- 근거가 두 개 이상이면 각각 따로 검증한다. 하나가 무너지면 나머지도 다시 본다.
- 그날 안에 되돌릴 수 없는 조치(고객 안내 발송, 페이지 삭제 등)를 하지 않는다. 최소 하루는 다시 확인할 시간을 둔다.
- 접은 이유를 적을 때 다시 시작할 조건을 숫자로 남긴다. '없음'이라고만 적으면 재검토할 방법이 사라진다.
이 비대칭은 승인 절차 전반에서 반복되는 패턴이었습니다. 새로 시작하는 일에는 확인 단계를 촘촘히 두면서 멈추거나 접는 일에는 같은 밀도를 두지 않는 경우가 많았습니다. 이 문제를 승인 지점 자체를 다시 설계하는 방식으로 다룬 기록은 AI 에이전트 승인 게이트를 다룬 글에 정리해 뒀습니다.
지금은 다섯 단계 절차 자체도 접는 방향까지 대칭으로 다시 짰습니다. 시작할 때 통과해야 하는 확인과 접을 때 통과해야 하는 확인이 같은 무게를 가지면, 이번처럼 마지막 층 하나를 빠뜨리고 큰 결정을 내리는 일이 줄어듭니다.
다섯 개 층 중 하나만 보고 결론을 내리는 습관은 시장 조사가 아닌 다른 조사에서도 똑같이 나타날 수 있습니다. 그래서 이 3단계 확인은 허용성 판단 하나에만 묶어 두지 않고, AI 에이전트가 '없다'는 결론을 내리는 모든 조사에 공통으로 적용하기로 했습니다.
판매 상품 하나를 접기 전 같은 방식으로 확인받고 싶다면 상담에서 문의할 수 있습니다.