업무 자동화 효과 측정, 다른 두 작업의 건당 40분이 똑같았다

업무 자동화 효과를 적은 한 줄, 브랜드 후보 발굴 5.3시간

업무 자동화를 들이고 나면 효과를 숫자로 말하고 싶어집니다. 저희는 자동화 작업마다 «사람이 했다면 1회에 몇 분»을 적고, 최근 30일 실행 횟수를 곱해 한 달치 대체 시간을 냅니다. 목록에는 이런 줄이 여럿 있고, 이 글은 그중 브랜드 후보 발굴 한 줄을 다룹니다.

브랜드 후보 발굴은 매일 새벽 3시에 도는 작업입니다. 사람이 하면 검색하고 고르는 데 30분, 고른 후보를 적는 데 10분, 합쳐서 1회 40분이 든다고 적혀 있습니다. 최근 30일 실행은 8회였고, 곱하면 5.3시간입니다.

숫자만 보면 작고 계산에도 문제가 없어 보입니다. 걸린 자리는 옆줄이었습니다. 한 시간 앞선 새벽 2시에 도는 리드 이메일 수집 작업의 줄이, 실행 횟수부터 대체 시간까지 칸마다 같은 값이었습니다.

하는 일이 다른 두 작업의 추정이 왜 똑같은지 따라가다 보니 더 큰 빈칸이 나왔습니다. 브랜드 후보 발굴은 무언가를 «고르는» 작업인데, 5.3시간은 몇 번 돌았는지만 셀 뿐 무엇을 골랐는지는 보지 않습니다. 코딩 이야기라기보다 자동화가 낸 숫자를 읽는 방법에 가깝습니다. 자동화 업체에서 «월 몇 시간 절감» 같은 숫자를 받아 본 적이 있다면 같은 순서로 다시 읽어 볼 수 있습니다.

5.3시간은 무엇과 무엇을 곱했나

목록 파일은 모든 자동화 항목에 같은 공식을 씁니다. 최근 30일 동안 작업이 돈 횟수에 «사람이 하면 1회에 몇 분»을 곱합니다. 브랜드 후보 발굴 항목에 적힌 값을 그대로 옮기면 아래와 같습니다.

근거 등급 estimate는 «사람이 직접 재 본 값은 아니지만 어떻게 계산했는지는 적어 두었다»는 뜻입니다. 이 항목의 계산 근거는 «검색·선별 30분 + 기록 10분» 한 줄입니다. 사람이 후보를 검색해 고르는 데 30분, 고른 후보를 기록하는 데 10분이 든다고 본 셈입니다.

근거가 문장으로 남아 있으니 따져 볼 수 있습니다. 다만 이 한 줄만 볼 때는 따질 곳이 잘 보이지 않았습니다. 따질 곳은 목록을 옆으로 넘겼을 때 나왔습니다.

다른 두 작업의 한 줄이 왜 똑같나

브랜드 후보 발굴 바로 옆에 리드 이메일 수집 항목이 있습니다. 콜드메일을 보낼 잠재 고객의 이메일 주소를 모으는 작업이고, 매일 새벽 2시에 돕니다. 두 줄을 칸별로 나란히 놓으면 이렇습니다.

예약 작업 이름을 빼면 다른 칸은 둘뿐입니다. 실행 시각이 한 시간 차이 나고, 40분을 설명하는 근거 문장이 다릅니다. 최근 30일 실행 8회, 셈법 전용 로그, 1회 40분, 그 40분을 30분과 10분으로 나눈 방식, 근거 등급 estimate, 대체 시간 5.3시간은 모두 같습니다.

처음 떠오른 설명은 자연스러웠습니다. 둘 다 밤에 도는 수집 작업이니 사람이 해도 비슷한 시간이 걸린다고 보고 같은 값을 적었다는 가설입니다. 예약 작업 이름도 둘 다 night_로 시작해서, 한 무리로 함께 만든 작업처럼 보였습니다.

이 가설이 맞다면 문제될 일은 없습니다. 비슷한 일에 비슷한 추정을 붙이는 방법은 흔하고, 일관성이 있다고 볼 수도 있습니다. 다만 그러려면 두 가지를 확인해야 합니다. 두 작업이 정말 같은 종류의 일인지, 그리고 같은 값을 쓴다는 사실을 목록이 어떻게 표시하는지입니다.

같은 값을 옮겨 적은 줄은 어떻게 표시돼 있나

목록에는 값을 옮겨 적은 사례가 이미 있습니다. 채용 사이트 공고를 수집하고 적합도를 판정하는 작업이 세 개 있는데, 사이트 1곳씩 맡아 매일 오전 7시 7분, 7시 23분, 7시 45분에 돕니다.

7시 7분 작업의 줄에는 «검색·목록 훑기 12분 + 상위 공고 열람·기록 8분»이라는 근거가 적혀 있습니다. 나머지 두 줄의 근거 칸에는 «위와 동일»이라고만 적혀 있습니다. 세 줄 모두 1회 20분, 최근 30일 8회, 대체 시간 2.7시간입니다.

이 세 줄은 같은 값을 쓴다고 스스로 밝힙니다. 읽는 사람은 셋이 하나의 추정을 나눠 쓴다는 사실을 알고, 그 추정이 틀리면 세 줄이 함께 틀린다는 사실도 압니다.

브랜드 후보 발굴과 리드 이메일 수집은 사정이 다릅니다. 두 줄은 서로를 가리키지 않고 각자 다른 근거 문장을 달고 있습니다. 그런데 문장만 다를 뿐 숫자는 30분과 10분, 합계 40분으로 똑같습니다. 따로 추정했는데 우연히 맞았는지, 하나를 먼저 정하고 다른 쪽 문장만 바꿨는지는 목록만으로 가를 수 없습니다.

목록 전체로 넓혀 보면 40분이라는 값이 더 눈에 띕니다. 1회 시간은 기술블로그 1편 120분, 리포트형 콘텐츠 1편 90분, 채용 공고 수집 20분처럼 작업마다 다르게 적혀 있습니다. 40분을 쓰는 줄은 이 두 줄뿐이고, 같은 값이 옆줄에 붙어 있는데 그 이유가 적혀 있지 않은 곳도 이 두 줄뿐입니다.

찾는 30분과 고르는 30분은 같은 일인가

두 작업이 같은 종류의 일이라면 같은 값에도 이유가 생깁니다. 그래서 40분을 이루는 문장을 한 번 더 읽었습니다. 목록의 모든 줄은 1회 시간을 «본 작업 + 마무리» 두 토막으로 나눠 적습니다.

리드 이메일 수집의 본 작업은 «대상 사이트 순회»입니다. 정해진 사이트를 돌며 주소를 찾는 일이라, 사이트를 다 돌았는지와 주소를 몇 개 찾았는지로 끝을 셀 수 있습니다.

브랜드 후보 발굴의 본 작업은 «검색·선별»입니다. 검색은 순회와 비슷하지만 선별은 다릅니다. 검색 결과 가운데 어떤 후보를 남기고 어떤 후보를 버릴지 정하는 판단이 들어갑니다. 한 칸에 30분으로 묶여 있지만, 찾는 일과 고르는 일이 한데 들어 있습니다.

그래서 둘 다 같은 종류의 수집 작업이라는 첫 가설은 절반만 맞았습니다. 밤에 돌며 무언가를 찾아 적는다는 점은 같지만, 한쪽은 찾아서 모으는 일이고 다른 쪽은 찾아서 고르는 일입니다. 같은 30분이라도 앞쪽은 사이트를 도는 시간이고, 뒤쪽에는 판단하는 시간이 섞여 있습니다.

판단이 들어간 작업이 목록에 하나 더 있습니다. 채용 공고 수집도 이름에 «적합도 판정»이 붙어 있는데, 근거 문장에서는 판단이 «상위 공고 열람·기록 8분» 안에 들어가 있습니다. 판단하는 시간을 따로 떼어 적은 줄은 목록 어디에도 없습니다.

고른 결과가 쓸 만했는지는 누가 재나

여기서 40분이 같다는 문제보다 큰 빈칸이 보였습니다. 대체 시간은 «기계가 한 번 돌면 사람이 40분 동안 할 일을 대신했다»는 가정 위에 서 있습니다. 모으는 일이라면 이 가정을 결과물로 확인할 수 있습니다. 주소가 몇 개 모였고 그중 몇 개가 실제로 쓸 수 있는 주소인지 세면 됩니다.

고르는 일은 다릅니다. 기계가 새벽마다 후보를 골라 적었다고 해서, 사람이 30분 동안 골랐을 후보와 같은 수준이라는 보장은 없습니다. 기계가 엉뚱한 후보를 골랐다면 사람은 다음 날 그 목록을 다시 훑어야 하고, 그만큼 대신한 시간은 줄어듭니다. 최악이면 대신한 시간이 아니라 늘어난 시간입니다.

지금의 5.3시간은 이 차이를 담지 못합니다. 목록이 세는 값은 실행 횟수와 사람 기준 시간 두 가지뿐이고, 고른 결과가 쓸 만했는지를 적는 칸은 없습니다. 몇 번 돌았는지는 알아도 몇 번 제대로 골랐는지는 모릅니다.

그렇다면 고른 결과를 다시 LLM에게 채점시키면 될까요? 저희가 따르는 평가 실무 문서는 여기에 선을 긋습니다. LLM에게 채점을 맡기는 방식(LLM-as-Judge)은 여러 연구에서 전문가와 판정이 일치한 비율이 64~68%에 머물렀고, 그래서 이 방식을 단독으로 쓰지 말고 사람의 확인과 함께 쓰라고 적어 두었습니다.

같은 문서가 권하는 순서는 반대 방향입니다. 자동 판정을 세우기 전에 실제 기록 20~50개를 사람이 먼저 읽고, 어디서 틀리는지부터 찾으라는 순서입니다. 품질의 최종 판단은 그 분야를 아는 한 사람이 내린다는 원칙도 함께 적혀 있습니다. 브랜드 후보 발굴에 옮기면, 새벽 작업이 고른 후보 목록을 사람이 몇 번치 직접 읽어 보는 일이 첫 순서입니다.

검수 인프라 문서에는 기계가 못 하는 일을 한다고 말하지 않는다는 규약이 있습니다. 그 문서는 접근성 검사를 예로 들며, 기계로 잡히는 범위는 57%뿐이고 의미 판단은 검사하지도 않고 검사한 척도 하지 않는다고 적었습니다. 5.3시간도 같은 선을 지켜야 합니다. 이 숫자는 실행을 잰 값이지 선별의 품질을 잰 값이 아닙니다.

8회는 이 작업만의 숫자인가

곱셈의 다른 한쪽인 8회도 짚고 넘어갑니다. 브랜드 후보 발굴은 매일 새벽 3시에 도는 일정이라 일정표대로라면 30일에 30번 돌아야 합니다. 전용 로그에서 센 실행 기록은 8회였습니다.

같은 8회가 목록에 네 줄 더 있습니다. 리드 이메일 수집(전용 로그)과 채용 공고 수집 세 줄(공용 로그 grep)입니다. 반대로 작업이 끝날 때 남기는 산출 마커로 센 기술블로그 1편은 46회, 리포트형 콘텐츠 1편은 101회로, 하루 한 번 일정으로는 나올 수 없을 만큼 많습니다.

새벽이라 컴퓨터가 꺼져 있었다는 설명도 맞지 않습니다. 브랜드 후보 발굴보다 이른 새벽 2시 20분에 도는 기술블로그 작업이 46회를 기록했기 때문입니다. 숫자를 가르는 기준은 실행 시각보다 셈법 쪽에 가깝고, 이 과정은 리드 이메일 수집 자동화의 실행 횟수를 따라간 기록에 따로 정리해 뒀습니다.

브랜드 후보 발굴에서 8회가 말해 주는 범위는 여기까지입니다. 로그에 실행 흔적이 8번 남아 있다는 사실은 말할 수 있지만, 실제로 8번만 돌았는지는 아직 모릅니다. 정리하면 곱셈의 한쪽은 확인을 기다리고, 다른 한쪽은 옆줄과 같은 값인데 이유가 없으며, 결과의 품질은 아예 칸이 없습니다.

고르는 일을 자동화했다면 무엇을 더 적어야 하나

업무 자동화 효과를 숫자로 적는 목록이라면, 모으는 일과 고르는 일을 같은 칸으로 다루지 않는 편이 맞습니다. 브랜드 후보 발굴 한 줄을 다시 적는다면 아래 네 칸을 더 붙이겠습니다.

• 1회 시간의 출처 — 직접 잰 값인지, 계산한 값인지, 다른 줄에서 옮긴 값인지. 옮겼다면 채용 공고 수집 줄처럼 어느 줄에서 옮겼는지 적는다
• 본 작업 안의 판단 시간 — «검색·선별 30분»처럼 찾기와 고르기를 한 칸에 묶지 않고 나눠 적는다
• 결과 품질 — 기계가 고른 후보 가운데 사람이 봐도 남길 만한 후보의 비율. 사람이 표본을 직접 읽어 정한다
• 실행 횟수의 셈법 — 로그에 남은 흔적인지 작업이 남긴 산출물인지, 일정표와 맞는지

셋째 칸이 이 글의 핵심입니다. 고르는 일을 자동화했다면 대체 시간에 결과 품질을 곱해야 제 값에 가까워집니다. 기계가 고른 후보의 절반만 쓸 만하다면 사람이 나머지 절반을 다시 골라야 하니, 대신한 시간도 그만큼 줄어듭니다.

결과 품질을 한 번 정하면 그 판정은 다시 쓸 수 있습니다. 검수 인프라 문서의 원칙대로 사람이 한 번 내린 판정을 기준으로 고정해 두면, 다음 번에는 달라진 부분만 보면 됩니다. 매번 사람이 전부 다시 읽지 않아도 됩니다.

자동화를 업체에 맡기려는 쪽이라면 같은 질문을 그대로 쓸 수 있습니다. «월 몇 시간 절감»이라는 숫자를 받았을 때 그 업무가 모으는 일인지 고르는 일인지 먼저 묻고, 고르는 일이라면 결과를 누가 어떻게 확인했는지 물으면 됩니다. 답이 실행 횟수로만 돌아온다면 그 숫자는 몇 번 돌았는지를 말할 뿐, 얼마나 대신했는지는 아직 말하지 못합니다.

아직 풀지 못한 것

• 브랜드 후보 발굴과 리드 이메일 수집이 같은 40분을 쓰는 이유를 가르지 못했습니다. 따로 추정해 우연히 맞았는지, 한쪽 값을 옮겨 왔는지는 목록에 흔적이 없습니다.
• 새벽 작업이 고른 브랜드 후보를 사람이 직접 읽어 본 기록이 아직 없습니다. 결과 품질 칸은 비어 있습니다.
• «검색·선별 30분» 가운데 판단에 드는 시간이 얼마인지 모릅니다. 사람이 한 번 직접 해 보며 재기 전까지 40분은 estimate로 남습니다.
• 최근 30일 8회가 실제 실행 횟수인지, 로그에 남은 흔적의 개수인지 확인하지 못했습니다.

5.3시간은 지우지 않았습니다. 추정이라는 이름표에, 옆줄과 같은 값이라는 메모와 결과 품질을 재지 않았다는 메모를 붙인 채 그대로 둡니다. 이름표가 붙어 있어야 나중에 한 칸씩 잰 값으로 바꿔 넣을 수 있습니다.

자동화 항목 전체를 근거 등급으로 나눈 이야기는 AI 업무 자동화 절감 시간을 등급별로 나눈 기록에 있습니다. 회사의 업무 자동화가 실제로 무엇을 대신하고 있는지 이런 방식으로 따져 보고 싶다면 상담에서 이야기를 나눌 수 있습니다.