채용공고 자동 수집 효과 — 적합도 판정의 값은 3.7시간에 없었다

채용공고 자동 수집 효과는 어떻게 셌나

채용공고 자동 수집의 효과를 숫자로 적는 방식은 단순합니다. 최근 30일 동안 작업이 몇 번 돌았는지 세고, 같은 일을 사람이 했을 때 한 번에 몇 분이 걸리는지 곱합니다. 저희 목록에서 채용 사이트 1곳의 공고를 모아 적합도를 매기는 줄은 11회 × 20분, 한 달 3.7시간이었습니다.

곱셈 자체는 맞습니다. 확인할 대상은 곱한 결과가 아니라 두 인수가 각각 어디서 왔는지, 그리고 곱셈 밖에 남은 값이 무엇인지입니다.

이 작업은 이름부터 두 가지 일을 합니다. 하나는 공고를 모으는 일이고, 다른 하나는 모은 공고가 기준에 얼마나 맞는지 매기는 일입니다. 앞의 일은 시간으로 바꿔 말하기 쉽지만, 뒤의 일은 결과가 맞았는지 따로 확인하지 않으면 시간으로 말할 근거가 약합니다. 이 글은 3.7시간이라는 한 줄을 이루는 값을 하나씩 확인하고, 그 줄이 말하지 않는 부분을 정리한 기록입니다.

3.7시간을 이루는 값은 어디서 왔나

목록의 한 줄에는 값 다섯 개가 적혀 있습니다. 실행 일정, 최근 30일 실행 횟수와 그 셈법, 사람이 하면 걸릴 건당 시간과 근거 등급, 건당 시간을 쪼갠 근거 문장, 그리고 두 값을 곱한 대체 시간입니다.

다섯 값 가운데 기계가 센 값은 실행 횟수 하나이고, 건당 시간은 근거 등급이 추정으로 적혀 있습니다. 3.7시간은 센 값 하나와 추정값 하나를 곱한 결과입니다.

추정이라고 해서 틀렸다는 뜻은 아닙니다. 다만 추정값이 곱셈에 들어가면 결과도 추정인데, 결과 칸에는 등급이 따로 붙어 있지 않습니다. 그래서 3.7시간만 떼어 보고서에 옮기면 사람이 직접 잰 숫자처럼 읽힙니다. 이 차이는 숫자가 목록 밖으로 나갈 때 비로소 문제가 됩니다.

건당 20분에는 무엇이 들어 있나

건당 20분은 두 조각으로 나뉘어 있습니다. 검색하고 목록을 훑는 12분, 그리고 상위 공고를 열어 보고 기록하는 8분입니다.

이 분해에서 눈에 띄는 점은 작업 이름에 들어 있는 «적합도 판정»이 근거 문장에는 따로 없다는 사실입니다. 사람이 이 일을 한다면 판정은 어딘가에서 일어납니다. 목록을 훑으면서 괜찮아 보이는 공고를 추리는 순간일 수도 있고, 상위 공고를 열어 읽는 8분 안일 수도 있습니다. 목록 한 줄만으로는 둘 중 어느 쪽인지 가를 수 없습니다.

«상위 공고»라는 말도 전제를 하나 깔고 있습니다. 상위를 고르려면 먼저 순서를 매겨야 합니다. 순서를 매기는 판단이 12분 훑기 안에 들어 있다고 보면, 건당 20분은 판정 시간을 포함한 값입니다. 반대로 8분이 열람과 기록만 뜻한다면, 판정은 시간 칸 어디에도 들어가지 않았습니다. 어느 쪽이든 판정에 몇 분이 드는지 따로 적지 않았고, 판정 결과가 맞았는지는 더더욱 적지 않았습니다.

기계가 이 일을 맡으면 무게 중심이 바뀝니다. 수집은 기계가 사람보다 빠르고 지치지 않는 영역이지만, 판정은 기준을 누가 어떻게 정했는지에 따라 결과가 갈립니다. 사람이 12분 동안 훑으며 머릿속으로 하던 판단을 기계가 점수로 대신한다면, 아낀 시간보다 먼저 물어야 할 질문은 «그 점수가 사람의 판단과 얼마나 같았나»입니다.

매일 도는 작업이 왜 30일에 11회인가

실행 일정 7 7 * * *는 크론 표기로 «매일 오전 7시 7분»을 뜻합니다. 하루도 빠지지 않고 돌았다면 최근 30일 실행 횟수는 30회에 가까워야 합니다. 목록에 적힌 값은 11회였습니다.

이 작업만의 사정인지 보려고 이웃 줄부터 확인했습니다. 판매할 서비스 후보를 찾는 스캔(매일 7시 12분), 리드 이메일 수집(매일 새벽 2시), 브랜드 후보 발굴(매일 새벽 3시)도 모두 11회였습니다. 네 줄이 같은 값인데 셈법은 공용 로그 검색이 두 줄, 전용 로그가 두 줄이었습니다. 서로 다른 셈법에서 같은 값이 나왔으니, 한쪽 셈법만의 결함으로 11이라는 숫자를 설명하기는 어렵다고 판단했습니다.

반대 방향의 숫자도 있습니다. 기술블로그 작업(매일 새벽 2시 20분)은 60회, 리포트형 콘텐츠 작업(매일 오전 8시 20분)은 96회로, 둘 다 30일이라는 기간보다 큽니다. 두 줄의 셈법은 «산출 마커», 즉 작업이 남긴 결과물 표시를 센 방식입니다. 하루 한 번 도는 작업이라도 결과물 표시를 여러 개 남긴다면, 이 값은 실행 횟수보다 산출물 개수에 가까워집니다.

정리하면 이 목록의 «최근 30일 실행» 칸에는 성격이 다른 두 숫자가 함께 들어 있습니다. 한쪽은 기록에서 찾은 실행 흔적이고, 다른 쪽은 산출물 표시입니다. 칸 이름이 같아서 나란히 비교하고 싶어지지만, 셈법이 다르면 11회와 96회를 곧바로 견줄 수 없습니다.

11회가 나온 원인으로 가설 두 개를 세웠습니다. 하나는 작업이 실제로 덜 돌았다는 가설이고, 다른 하나는 작업은 매일 돌았는데 기록을 세는 쪽이 일부를 놓쳤다는 가설입니다. 목록 한 줄과 셈법 이름만으로는 둘 중 어느 쪽도 확인하지 못했습니다. 가르려면 날짜별로 작업이 남긴 흔적과 작업을 돌리는 컴퓨터의 가동 기록을 맞대어 봐야 합니다.

같은 목록의 리드 이메일 수집 줄에서 실행 횟수와 건당 시간을 따라간 과정은 콜드메일 리드 이메일 수집 자동화 글에 따로 정리했습니다.

이웃 작업 여섯 줄과 나란히 놓으면 무엇이 보이나

같은 목록에서 채용공고 자동 수집과 이웃한 작업 여섯 줄을 한 표로 모았습니다. 칸은 실행 일정, 최근 30일 실행 횟수, 셈법, 사람 기준 건당 시간, 대체 시간입니다.

3.7시간은 여섯 줄 가운데 가장 작습니다. 리포트형 콘텐츠 작성·발행이 144.0시간, 기술블로그 1편이 120.0시간이고, 나머지 넷은 한 자릿수입니다. 두 콘텐츠 작업이 큰 이유는 실행 횟수와 건당 시간이 둘 다 크기 때문입니다. 기술블로그의 건당 120분은 6,600자 이상 글 1편을 손으로 쓰는 시간에 검수·발행 30분을 더한 추정입니다.

여섯 줄의 건당 시간은 모두 근거 등급이 추정입니다. 그러니 이 표로 크기 순서는 말할 수 있어도, 여섯 줄을 더한 합계를 «자동화로 아낀 시간»이라고 부르기는 이릅니다. 추정 여섯 개를 더하면 추정마다 섞인 오차도 함께 쌓입니다.

값이 작다고 덜 중요한 줄도 아닙니다. 고르는 일이 섞인 줄은 브랜드 후보 발굴(검색·선별)과 서비스 후보 스캔도 있지만, 이름에 적합도 판정을 내건 줄은 채용공고 수집 하나입니다. 시간 칸이 가장 작은 줄이 오히려 시간으로 잴 수 없는 일을 가장 분명하게 맡고 있습니다.

적합도 판정의 값은 왜 시간 칸에 들어가지 않나

시간으로 바꾸는 계산은 «사람이 하던 일을 기계가 똑같이 해냈다»를 전제합니다. 수집은 이 전제에 잘 맞습니다. 같은 사이트의 같은 목록을 사람이 훑든 기계가 받아 오든, 손에 남는 공고 목록은 크게 다르지 않습니다.

판정은 사정이 다릅니다. 기계가 매긴 적합도가 사람이 골랐을 순서와 어긋나면, 작업은 매일 돌아도 사람은 결국 목록을 다시 훑어야 합니다. 그런 경우 판정 부분에서 아낀 시간은 0분에 가깝고, 3.7시간은 실행 횟수만 반영한 값으로 남습니다. 반대로 판정이 잘 맞으면 사람은 상위 몇 건만 열어 보면 되니, 가치가 3.7시간보다 클 수도 있습니다. 두 경우 모두 목록에는 똑같이 3.7시간이 적힙니다.

이 작업의 판정을 어떤 방식으로 하는지는 목록에 적혀 있지 않습니다. 다만 판정을 언어 모델에 맡기는 경우라면, 사내 평가 실무 규칙에 옮겨 둔 연구 정리가 한 가지를 경고합니다.

LLM-as-Judge 회의론 — arXiv 2025 다수 연구: 전문가 동의율 64-68%. 위치 편향·스코어링 편향 실증. 단독 사용 금지.

같은 규칙 문서는 품질의 최종 판단을 도메인을 아는 한 사람에게 맡기라고 적습니다. 여러 사람의 투표나 모델끼리의 합의보다 그 사람의 판단을 정답으로 삼는다는 원칙입니다. 적합도 판정에 옮기면 방법이 단순해집니다. 기계가 매긴 상위 공고와, 조건을 가장 잘 아는 사람이 같은 목록에서 고른 공고를 나란히 놓고 겹치는 정도를 셉니다.

화면 품질 검사 규칙에도 같은 방향의 문장이 있습니다.

통과는 «검사한 것 중 걸린 게 없다»일 뿐이다. 불변식에 없는 결함은 통과한다.

실행 11회는 «작업이 돌았다»를 알려 줄 뿐 «판정이 맞았다»를 알려 주지 않습니다. 둘을 구분하지 않으면, 날마다 정상으로 끝나는 작업이 실제로는 사람의 일을 거의 덜어 주지 못한 채 목록에 시간만 쌓을 수 있습니다.

2026년 9월 15일 기준으로 크론 168개를 성격별로 나눴을 때, 사람이 하던 일을 대신하는 업무대체 작업은 70개였고 그중 사람 기준선까지 붙은 줄은 16개였습니다. 채용공고 자동 수집 줄은 건당 20분이라는 기준선이 붙은 줄입니다. 기준선이 있다는 사실과 효과를 확인했다는 사실이 서로 다르다는 점을 이 줄이 보여 줍니다. 168개를 네 성격으로 가른 과정은 크론 168개 중 70개만 셈에 넣은 글에 있습니다.

3.7시간을 보고서에 옮기기 전에 확인할 네 가지

채용공고 자동 수집처럼 모으고 고르는 일을 함께 자동화했다면, 절감 시간을 밖에 내놓기 전에 아래 네 가지를 확인해 두는 편이 안전합니다. 저희 목록의 이 줄도 아직 네 가지를 다 채우지 못했습니다.

• 실행 횟수의 셈법 — 실행 흔적을 센 값인지, 산출물 표시를 센 값인지 칸마다 적는다. 셈법이 다른 11회와 96회를 한 표에서 곧바로 견주지 않는다.
• 기대 실행 횟수와의 차이 — 매일 도는 작업이면 30일 기준으로 몇 번이 나와야 하는지 옆에 적고, 차이가 크면 원인을 확인한 뒤에 숫자를 쓴다.
• 건당 시간의 근거 등급 — 추정인지 잰 값인지 결과 칸에도 그대로 옮긴다. 추정을 곱한 결과는 추정이다.
• 판정 일치 여부 — 기계가 고른 상위 공고와 사람이 고른 공고가 얼마나 겹치는지 표본으로 확인한다. 이 값이 없으면 판정 부분의 절감 시간은 말하지 않는다.

네 항목 가운데 앞의 셋은 목록 파일에 칸을 더하는 수준의 수정으로 끝납니다. 마지막 항목만 사람의 눈이 필요합니다. 평가 실무 규칙은 실패 사례 20-50개를 사람이 먼저 직접 검토한 뒤에 자동 평가를 만들라고 권하는데, 적합도 판정도 같은 순서를 따르면 됩니다. 기계가 고른 결과를 사람이 몇십 건 직접 보고 어긋난 경우를 모은 다음에야 일치율을 자동으로 잴 기준이 생깁니다.

한 줄짜리 절감 시간 계산을 처음부터 뜯어 본 과정은 자동화 절감 시간 계산 글에서 다뤘습니다. 회사 업무 가운데 모으고 고르는 일을 자동화하면서 효과를 어떻게 재야 할지 고민이라면 상담으로 문의해 주세요.

아직 확인하지 못한 부분

이 글은 목록 한 줄과 이웃 줄, 크론 성격 분류, 사내 규칙 문서만 재료로 썼습니다. 그래서 확인하지 못한 부분이 분명히 남습니다.

• 매일 도는 작업의 최근 30일 실행이 11회로 나온 원인 — 실제로 덜 돌았는지, 기록을 세는 쪽이 놓쳤는지 가르지 못했다.
• 건당 20분의 실측값 — 사람이 같은 사이트에서 검색·훑기와 열람·기록을 직접 해 보고 시간을 잰 기록이 없다.
• 적합도 판정에 쓰는 방식과, 그 판정이 사람의 선택과 얼마나 겹치는지.
• 실행 1회가 공고를 몇 개 처리하는지 — «건당»의 한 건이 공고 몇 개인지 목록에 적혀 있지 않다.

3.7시간은 틀린 숫자가 아닙니다. 11회와 20분을 곱한 값으로는 정확합니다. 다만 이 줄이 말해 주는 범위는 «작업이 11번 돌았고, 사람이라면 한 번에 20분쯤 걸렸으리라 추정한다»까지이고, 적합도 판정의 가치는 그 범위 밖에 있습니다.