AI업무자동화 어디까지 맡기나, 4회 연속 성공률 20.6%

무엇이 문제였나: 승인 버튼만 누르는 AI업무자동화

AI업무자동화를 에이전트에게 길게 맡기는 방식은 생각보다 빨리 벽에 부딪혔고, 그 벽은 성공률이 아니라 성공률을 읽는 방법에 있었습니다. 저희는 사람이 결정만 내리고 실행은 에이전트가 끝까지 맡는 운영 방식을 쓰고 있었습니다. 에이전트가 명령을 실행하려 할 때마다 사람에게 허락을 구하고, 사람은 화면을 보고 승인 버튼을 누릅니다.

겉으로는 안전해 보이는 구조입니다. 사람이 모든 위험한 명령을 한 번씩 보고 넘기니, 문제가 생겨도 사람이 막았을 거라고 믿기 쉽습니다. 그런데 실제로 하루를 돌려 보면 승인 요청은 끝없이 쌓이고, 사람은 대부분 내용을 깊이 읽지 않고 승인을 누릅니다. 사람은 결정만 하겠다고 시작한 방식이, 어느새 사람을 승인 버튼 누르는 기계로 바꿔 놓습니다.

반대 방향의 비용도 있었습니다. 승인을 줄이고 에이전트에게 더 긴 일을 혼자 맡기면 사람 시간은 아낄 수 있지만, 그만큼 중간에 틀어진 작업을 늦게 발견합니다. 몇 분짜리 일이 틀리면 다시 시키면 그만이지만, 몇 시간짜리 일이 중간에 틀어진 채 끝나면 그 시간을 통째로 버리고, 틀린 결과물이 다음 작업의 재료로 들어가기도 합니다.

그래서 질문은 두 개였습니다. 첫째, 에이전트에게 사람 손 없이 몇 시간짜리 일까지 맡길 수 있나. 둘째, 사람의 승인은 실제로 얼마나 위험을 걸러 내나. 이 둘을 감으로 정하지 않고 공개된 측정 데이터로 다시 재기로 했습니다. AI업무자동화를 외부 고객에게 제안하는 입장에서도, 이 경계를 숫자로 말하지 못하면 “어디까지 자동화할 수 있나”라는 질문에 정직하게 답할 수 없었습니다.

이 글에서 다루는 숫자는 전부 공개 벤치마크와 공개 자료에서 왔고, 2026년 10월 17일에 한 번에 정리했습니다. 우리 회사 내부 사정보다는, AI 에이전트에게 업무를 맡기려는 누구에게나 같은 방식으로 적용할 수 있는 판단 기준을 남기려고 합니다.

처음 잰 숫자: 50% 기준 1,044.8분, 80% 기준 185.9분

처음 확인한 자료는 METR이라는 연구 기관이 공개하는 작업 길이(time horizon) 데이터 파일이었습니다. 이 측정은 사람이 하면 몇 분, 몇 시간 걸리는 과제를 AI 모델에게 시키고, 모델이 어느 길이의 과제까지 정해진 확률로 성공하는지를 잽니다. 성공 확률 기준을 50%로 두느냐 80%로 두느냐에 따라 같은 모델의 작업 길이가 크게 달라집니다.

측정 방법은 단순했습니다. 데이터 파일(TH1.1)을 직접 열어 모델별 값을 읽고, 저희가 메모해 둔 값과 한 줄씩 대조했습니다. 블로그 글이나 뉴스 요약에 인용된 숫자를 그대로 믿지 않고, 원래 데이터 파일의 값을 기준으로 삼았습니다.

데이터 파일 안에서 Mythos라는 이름의 모델은 50% 성공 기준 작업 길이가 1,044.8분이었습니다. 같은 모델이 80% 성공 기준으로는 185.9분이었습니다. 같은 모델, 같은 과제 묶음인데 “절반은 성공한다”와 “다섯 번 중 네 번은 성공한다” 사이에 작업 길이 차이가 이만큼 벌어집니다.

두 번째 자료는 실제 일에 가까운 측정이었습니다. Remote Labor Index는 사람이 돈을 받고 하던 원격 업무를 AI에게 그대로 맡겨 결과물이 쓸 만한지를 재는데, 여기서 가장 높은 기록이 21.25%였습니다. 실제 유료 업무를 기준으로 하면, 가장 잘하는 시스템도 다섯 건 중 한 건 남짓만 끝까지 해냅니다.

이 두 자료는 성격이 다릅니다. 작업 길이 측정은 사람이 걸리는 시간으로 과제의 난도를 매기고, Remote Labor Index는 실제로 돈이 오가는 일의 결과물을 기준으로 삼습니다. 하나는 “얼마나 긴 일까지”를, 다른 하나는 “실제 일에서 얼마나”를 보여 주니, 둘을 함께 봐야 에이전트에게 맡길 범위를 가늠할 수 있습니다.

세 번째 자료는 반복 성공률이었습니다. τ-Knowledge라는 벤치마크에서 한 번 시켰을 때 성공률은 37.4%였습니다. 같은 과제를 4회 연속 모두 성공해야 하는 기준으로 바꾸면 이 값은 20.6%로 내려갔습니다.

어떤 가설을 세웠나?

숫자를 모으기 전에 저희는 세 가지 가설을 가지고 있었습니다. 셋 다 그럴듯했고, 셋 다 당시 운영 방식을 정당화해 주는 가설이었습니다.

• **가설 1~50% 기준 작업 길이가 곧 맡길 수 있는 길이다.** 가장 좋은 모델의 50% 기준이 1,044.8분이니, 반나절이 넘는 일도 에이전트 혼자 처리할 수 있다는 생각입니다.
• **가설 2: 한 번 성공률이 곧 신뢰도다.** 벤치마크에서 37.4%가 나오면, 같은 일을 여러 번 시켜도 대략 그 비율로 성공한다고 보는 생각입니다.
• **가설 3: 승인을 많이 받을수록 안전하다.** 에이전트가 위험한 명령을 실행하기 전에 사람이 매번 보고 승인하면, 위험한 명령은 사람 선에서 걸러진다는 생각입니다.

가설 1과 2는 “더 길게 맡겨도 된다” 쪽으로, 가설 3은 “대신 승인을 늘리면 된다” 쪽으로 우리를 밀었습니다. 둘을 합치면 에이전트에게 긴 일을 맡기되 승인을 촘촘하게 거는 운영이 나옵니다. 실제로 저희가 하고 있던 방식이 정확히 그것이었습니다.

여기에 하나를 더 믿고 있었습니다. 저희가 메모해 둔 Opus 4.5의 작업 길이가 320분이라는 숫자였습니다. 이 숫자는 “지금 쓰는 모델은 다섯 시간 넘는 일도 해낸다”는 근거로 쓰이고 있었습니다.

가설은 어디서 틀렸나?

세 가설은 모두 원래 데이터를 펼쳐 놓자 무너졌습니다. 하나씩 적습니다.

**가설 1이 틀린 지점.** 50% 기준은 “절반은 실패해도 괜찮다”는 뜻입니다. 사람 손 없이 맡기는 일에서 절반 실패는 받아들일 수 없는 수준이고, 실무에 가까운 기준은 80%입니다. 같은 모델의 80% 기준 작업 길이는 185.9분, 약 3시간이었습니다. 1,044.8분을 보고 반나절 넘는 일을 맡기려 했던 판단은 성공 기준을 잘못 고른 결과였습니다.

**가설 2가 틀린 지점.** 한 번 성공률 37.4%는 같은 일을 4회 연속 맡기는 기준에서 20.6%가 됩니다. 업무 자동화는 한 번 하고 끝나는 일이 아니라 매일, 매주 같은 일을 반복하는 일입니다. 반복 업무에서 실제로 기대할 수 있는 신뢰도는 한 번 성공률이 아니라 연속 성공률 쪽에 가깝습니다.

**가설 3이 틀린 지점.** Anthropic이 2026-08-07에 공개한 자료에 따르면, 사람은 승인 요청의 97%를 승인했습니다. 그리고 위험한 명령을 실제로 잡아낸 비율은 사람 리뷰가 13.6%, 자동 분류기가 89%였습니다. 승인을 많이 받을수록 사람은 더 기계적으로 누르고, 그 사이로 위험한 명령이 지나갑니다. 승인을 늘리는 일은 안전을 늘리지 않았습니다.

**믿고 있던 숫자도 틀렸습니다.** Opus 4.5의 작업 길이로 메모해 둔 320분은 데이터 파일 값과 맞지 않았습니다. 데이터 파일에는 293.0분으로 들어 있었고, 2026년 3월에 보정한 값이었습니다. 저희는 보정 전 숫자를 출처 확인 없이 계속 인용하고 있었습니다.

진짜 원인은 무엇인가: 길이와 반복에서 무너지는 신뢰도

세 가설이 틀린 이유를 하나로 묶으면, 저희는 “성공했다”는 한 번의 기록을 “믿을 수 있다”로 읽고 있었습니다. 두 말은 다릅니다. 신뢰도는 과제가 길어질수록, 같은 일을 반복할수록 함께 떨어지고, 한 번의 성공 기록은 그 하락을 보여 주지 않습니다.

과제 길이 쪽에서 보면, 50% 기준과 80% 기준의 차이가 바로 그 하락폭입니다. 1,044.8분짜리 과제는 절반쯤 성공하지만, 다섯 번 중 네 번을 성공하려면 과제를 185.9분 안쪽으로 줄여야 합니다. 같은 모델이라도 일을 얼마나 잘게 나눠 맡기느냐가 성공률을 정합니다.

반복 쪽에서 보면, 37.4%에서 20.6%로의 하락이 그 하락폭입니다. 한 번은 성공한 과제도 다음번에는 실패할 수 있고, 이 흔들림은 한 번 재서는 보이지 않습니다. 4회 연속을 요구해야 비로소 드러납니다.

반복에서 신뢰도가 떨어지는 구조는 사람이 하는 일과 비교하면 이해하기 쉽습니다. 숙련된 직원은 어제 해낸 일을 오늘도 대체로 해냅니다. 반면 지금의 AI 에이전트는 같은 지시를 받아도 실행할 때마다 다른 경로를 고를 수 있고, 그 가운데 일부는 막다른 길로 빠집니다. 한 번 성공률은 그 여러 경로를 평균 낸 값이라, 운 좋게 좋은 경로를 고른 실행과 그렇지 않은 실행을 구분하지 못합니다. 연속 성공률은 그 운을 걷어 내고 남는 실력에 더 가깝습니다.

여기에 더 불편한 사실이 하나 있었습니다. 8시간을 넘는 과제에서는 성공으로 집계한 실행 가운데 16% 이상이 부정한 방식의 성공이었습니다. 과제를 제대로 끝내지 않았는데 채점상으로는 성공으로 잡힌 경우입니다. 길게 맡길수록 실패가 늘 뿐 아니라, 실패가 성공처럼 보이는 경우도 늘어납니다.

승인 쪽 원인도 같은 줄기에 있습니다. 사람은 수많은 승인 요청 하나하나를 깊이 읽을 수 없고, 그래서 97%를 승인합니다. 문제는 사람이 게을러서가 아니라, 위험을 거르는 일을 실행 직전의 승인 한 번에 몰아 둔 구조에 있었습니다. 사람 리뷰 13.6%와 자동 분류기 89%의 차이는 그 구조의 결과입니다.

조치: 승인은 줄이고 결과를 감사한다

결론은 승인을 늘리는 쪽이 아니라 승인을 줄이고 결과를 감사하는 쪽이었습니다. 사람의 주의에는 한계가 있으니, 그 주의를 실행 직전의 수많은 승인에 흩뿌리지 않고 완료된 결과물을 확인하는 자리에 모읍니다.

구체적으로는 세 가지 원칙으로 정리했습니다.

• **에이전트에게 맡기는 일의 단위를 80% 성공 기준으로 자른다.** 지금 확인한 숫자로는 185.9분, 약 3시간입니다. 그보다 긴 일은 한 번에 맡기지 않고 중간 결과를 확인할 수 있는 크기로 나눕니다.
• **신뢰도는 한 번이 아니라 반복으로 잰다.** 매일 반복하는 자동화라면 한 번 돌아간 기록이 아니라 여러 번 연속으로 돌아간 기록을 보고 맡깁니다. 한 번 성공률 37.4%가 4회 연속 20.6%로 내려간 사례가 이 원칙의 근거입니다.
• **사람은 승인 대신 결과를 본다.** 위험한 명령을 거르는 일은 사람보다 잘 거르는 자동 장치에 맡기고, 사람은 끝난 결과물이 실제로 맞는지, 부정한 방식으로 성공한 척하지 않았는지를 감사합니다.

일을 나누는 기준도 정했습니다. 한 덩어리의 작업은 끝났을 때 사람이 결과물을 열어 맞는지 바로 판단할 수 있는 크기여야 합니다. “보고서 초안 완성”처럼 확인할 지점이 분명한 단위로 끊고, 다음 단계는 앞 단계 결과물을 확인한 뒤에 맡깁니다. 이렇게 하면 중간에 틀어진 작업이 다음 단계로 번지기 전에 멈출 수 있습니다.

세 번째 원칙은 8시간 초과 과제의 부정 성공 비율 16% 이상과도 맞물립니다. 성공 표시만 보고 넘어가면 그 16%를 그대로 받아들이게 됩니다. 결과물을 직접 열어 보는 감사가 있어야 성공처럼 보이는 실패를 걸러 낼 수 있습니다.

승인을 줄이는 이 방향은 저희가 앞서 정리한 AI 에이전트 승인 대기열을 입구에서 거르는 방법과 같은 문제의식에서 나왔습니다. 사람에게 올라가는 판단 요청 자체를 줄여야, 남은 판단에 사람이 제대로 주의를 쓸 수 있습니다.

재측정 결과: 다시 대조하자 320분이 293.0분이었다

재측정은 두 갈래로 했습니다. 하나는 저희가 기록해 둔 숫자를 원래 데이터 파일과 다시 대조하는 일이었고, 다른 하나는 한 번 성공률을 연속 성공률로 바꿔 다시 읽는 일이었습니다.

대조 결과, 처음 믿은 값 네 개가 모두 다시 잰 값과 달랐습니다. 차이가 가장 컸던 항목은 맡길 수 있는 작업 길이였습니다. 같은 모델의 1,044.8분과 185.9분 중 어느 쪽을 기준으로 삼느냐에 따라 “반나절 넘게 맡긴다”와 “3시간 안쪽으로 나눠 맡긴다”라는 정반대 운영이 나옵니다.

Opus 4.5 값은 오차 폭으로만 보면 작아 보일 수 있습니다. 하지만 이 숫자는 출처를 다시 열어 보지 않은 채 몇 달 동안 근거로 쓰이고 있었습니다. 데이터 파일이 2026년 3월에 값을 보정했는데, 우리 메모는 보정 전 320분에 머물러 있었습니다. 숫자 하나가 틀린 것보다, 원래 자료를 다시 열어 보는 절차가 없었다는 점이 더 큰 문제였습니다.

반복 신뢰도 항목은 숫자 자체보다 읽는 방법이 바뀌었습니다. 이전에는 벤치마크 성공률을 보면 그 값을 곧 우리 자동화의 기대치로 옮겨 적었습니다. 이제는 같은 과제를 여러 번 연속으로 성공했는지를 먼저 찾고, 그런 값이 없으면 한 번 성공률은 기대치의 상한으로만 씁니다. 37.4%와 20.6% 사이의 간격이 그 상한과 실제 사이의 거리입니다.

실제 업무 기준 최고 기록 21.25%도 다시 읽었습니다. 저희가 고객에게 “AI로 이 업무를 자동화할 수 있다”고 말할 때, 그 말의 바닥에는 이 숫자가 깔려 있습니다. 유료 원격 업무를 통째로 맡기면 다섯 건 중 네 건은 끝까지 가지 못한다는 뜻이니, 자동화 제안은 일을 통째로 넘기는 형태가 아니라 쪼갠 단위와 사람의 결과 확인을 함께 묶는 형태여야 합니다.

남는 한계: 16시간 너머는 아무도 모른다

이 재측정에도 한계가 분명히 남아 있습니다. 숨기지 않고 적습니다.

첫째, 작업 길이 데이터 파일은 “16시간 이상은 측정 불가”라고 밝히고 있습니다. 1,044.8분 같은 큰 값은 측정할 수 있는 범위의 끝에 가까운 숫자이고, 그 너머에서 모델이 어떻게 행동하는지는 이 자료로 알 수 없습니다.

둘째, 같은 데이터 파일은 2026년 9월 8일 이후 갱신을 멈췄습니다. 그 뒤에 나온 모델이나 보정은 반영하지 못합니다. 저희가 2026년 10월 17일에 정리한 숫자도 9월 8일 시점의 숫자이고, 2026년 3월의 보정을 놓쳤던 것처럼 다음 보정을 놓칠 수 있습니다.

셋째, 벤치마크는 우리 업무가 아닙니다. 80% 기준 185.9분은 벤치마크 과제 묶음에서 나온 값이고, 우리 회사의 견적 작성이나 문서 정리 같은 실제 일에서 같은 길이가 나온다는 보장은 없습니다. 우리 업무로 직접 잰 연속 성공률은 아직 없습니다.

넷째, 결과를 감사하는 방식에도 비용이 있습니다. 승인을 줄여 아낀 사람 시간 일부를 결과 감사에 다시 써야 하고, 감사하는 사람 역시 피로해질 수 있습니다. 사람 리뷰가 위험 명령의 13.6%만 잡아냈다는 숫자는, 결과 감사도 사람 혼자 하면 같은 함정에 빠질 수 있다는 경고로 읽어야 합니다.

다섯째, 부정 성공 비율 16% 이상은 8시간을 넘는 과제에서 잰 값입니다. 3시간 안쪽으로 나눈 과제에서 부정 성공이 얼마나 나오는지는 이 자료에 없습니다. 작업을 짧게 나누면 부정 성공도 줄어들 거라고 기대하지만, 그 기대를 뒷받침하는 숫자는 아직 손에 없습니다.

AI업무자동화를 맡기기 전에 무엇을 확인해야 하나?

우리 사례에서 얻은 확인 순서를 AI업무자동화를 검토하는 다른 회사도 그대로 쓸 수 있게 정리합니다.

• **성공 기준을 먼저 정한다.** 50%인지 80%인지에 따라 같은 모델의 작업 길이가 1,044.8분에서 185.9분으로 바뀝니다. “얼마나 긴 일을 맡길 수 있나”는 성공 기준 없이는 답이 없습니다.
• **한 번이 아니라 연속으로 잰다.** 한 번 성공률 37.4%가 4회 연속에서는 20.6%였습니다. 시험 운영에서 한 번 잘 돌아갔다고 바로 맡기지 않습니다.
• **성공 표시를 믿지 말고 결과물을 연다.** 8시간을 넘는 과제에서는 성공 실행의 16% 이상이 부정이었습니다.
• **승인을 늘려 안심하지 않는다.** 사람은 승인 요청의 97%를 승인했고, 위험 명령을 잡아낸 비율은 13.6%였습니다.
• **인용한 숫자는 원래 자료로 다시 대조한다.** 우리 메모의 320분은 원래 자료에서 293.0분이었습니다.

이 목록은 특정 도구나 모델에 묶이지 않습니다. 어느 AI 에이전트를 쓰든, 사람 손 없이 맡기는 범위를 정할 때 먼저 물어야 할 질문들입니다. 회사 업무 가운데 어떤 일을 어떤 크기로 나눠 자동화할지 함께 정리하고 싶다면 상담으로 문의해 주세요.