웹크롤링 외주 전에 준비할 자료와 화면은 무엇인가?

웹크롤링 외주를 맡기려면 주소 말고 무엇부터 건네야 하나?

웹크롤링 외주 전에 건넬 것은 사이트 주소가 아니라 가져올 값이 보이는 화면, 그 값이 들어갈 엑셀 양식, 하루 몇 시에 어떤 형태로 받고 싶은지에 대한 설명이다. 이 세 가지가 있으면 작업 범위를 문서로 쓸 수 있고, 없으면 견적과 검수 기준이 사람마다 달라진다.

같은 사이트라도 담당자가 매일 눈으로 확인하는 값은 일부인 경우가 많다. 목록 페이지의 제목과 날짜만 필요한지, 상세 페이지까지 들어가 본문과 첨부를 읽어야 하는지에 따라 작업 단위가 달라진다. 이 차이를 화면 캡처에 표시해 두면 말로 설명하는 것보다 오해가 적다.

SGK 스튜디오 크롤링 구축 표준은 착수 전에 수집 대상 화면, 수집 항목, 저장 양식을 한 장에 확정하는 것을 첫 단계로 둔다. 이 장이 비어 있으면 외주사가 추측으로 채우게 되고, 그 추측이 나중에 추가 작업 논쟁의 출발점이 된다.

어떤 화면을 어떤 방식으로 보여줘야 하나?

담당자가 평소 하는 순서대로 화면을 녹화하거나 단계별로 캡처해 건네는 방식이 가장 정확하다. 로그인 여부, 검색 조건 입력, 페이지 넘김, 상세 열람 같은 단계가 모두 드러나야 한다.

로그인이 필요한 사이트라면 접근 방식이 먼저 갈린다. 공개 화면인지, 계정이 필요한지, 인증 단계가 있는지에 따라 자동화가 가능한 범위와 계정 관리 책임이 달라진다. 계정을 누가 발급하고 누가 보관하는지도 이때 정해 두어야 한다.

수집 대상 사이트의 이용약관이나 수집 허용 여부는 발주자가 먼저 확인할 사항이다. 확인하지 못했다면 확인하지 못했다고 외주사에 알리고, 그 상태에서 어디까지 진행할지 합의하는 편이 낫다. 이 판단을 외주사에 넘기면 책임 소재가 흐려진다.

화면 구성은 사이트 개편으로 바뀔 수 있다. 바뀐 뒤 누가 수정을 맡는지는 별도 항목으로 정해야 한다.

엑셀 쪽에서는 무엇을 정해 두어야 하나?

결과가 들어갈 엑셀의 열 구성, 날짜 형식, 중복 판단 기준, 기존 데이터에 이어 붙일지 새 파일로 만들지를 정해 두어야 한다. 크롤링 자체보다 이 규칙이 비어 있어서 결과를 다시 손보는 경우가 많다.

매일 쌓는 작업이라면 어제 값과 오늘 값이 같은 항목인지 가르는 기준이 필요하다. 제목이 같으면 같은 글인지, 글번호가 기준인지에 따라 중복이 생기거나 누락된다. 이 기준은 업무를 아는 발주자만 정할 수 있다.

빈 값, 삭제된 글, 형식이 깨진 값이 나왔을 때 처리도 미리 정한다. 건너뛸지, 빈칸으로 남길지, 담당자에게 알릴지에 따라 다음 날 아침 담당자가 하는 일이 달라진다.

검수와 인수는 어떻게 정해야 하나?

검수는 며칠치 실제 결과를 담당자가 기존에 손으로 만든 값과 대조하는 방식으로 정하면 기준이 분명해진다. 몇 건이 맞아야 인수인지, 어긋난 값은 누가 고치는지를 계약 전에 적어 두면 인수 단계의 분쟁이 줄어든다.

대조할 기준 데이터가 있어야 하므로, 발주 전에 담당자가 손으로 만든 최근 며칠치 엑셀을 보관해 두는 것이 좋다. 이 파일이 검수 기준이 된다.

인수 때 받을 산출물도 정한다. 실행 프로그램과 설정, 소스 코드, 실행 방법 문서, 실패 시 확인 방법이 포함되는지에 따라 이후 다른 업체나 자사 담당자가 이어받을 수 있는지가 갈린다. 효과와 절감 시간은 회사의 업무 방식에 따라 다르므로 사전에 수치로 약속하기 어렵다.