크롤링, 만들기 전에 확인할 것은 코드가 아니라 수집 대상과 사용 조건

크롤링을 만들기 전에 가장 먼저 확인할 것은 무엇인가?

크롤링은 수집 대상 사이트가 자동 수집을 어떻게 다루는지, 그리고 모은 정보를 어디에 쓸지를 먼저 확인해야 한다. 코드를 짜는 일은 그다음이고, 이 두 가지가 정해지지 않으면 완성된 뒤에 쓸 수 없는 결과물이 남을 수 있다.

발주자가 흔히 놓치는 것은 '기술적으로 가져올 수 있다'와 '업무에 써도 된다'가 다른 질문이라는 점이다. 사이트마다 이용약관, 자동 수집 안내, 접근 제한 방식이 다르고, 같은 정보라도 내부 참고용인지 자사 화면에 다시 게시하는지에 따라 판단이 달라진다.

그래서 SGK 스튜디오 AI자동화 구축 표준은 착수 전에 수집 대상 목록과 각 사이트의 이용 조건 확인 기록을 먼저 남기게 한다. 법적 판단이 필요한 부분은 회사의 법무 담당이나 전문가가 확정할 일이고, 구축 쪽에서 그 결론을 대신 내리지 않는다.

이 글은 법률 자문이 아니다. 특정 사이트·정보 유형의 허용 여부는 회사가 별도로 확인해야 한다.

수집한 정보를 어디에 쓰느냐가 왜 설계를 바꾸나?

같은 상품·매물 정보라도 내부 비교용이면 수집 주기와 항목이 단순하고, 자사 화면에 게시하거나 고객에게 전달하면 출처 표기·갱신 시점·정정 절차까지 설계에 들어간다. 쓰임새가 범위를 정한다.

내부 참고용은 담당자가 결과를 눈으로 확인하고 걸러 쓸 수 있어 오류가 있어도 파급이 작다. 반대로 외부에 보이는 용도는 오래된 가격이나 이미 내려간 매물이 그대로 노출되는 문제가 생기므로, 수집 시각을 함께 저장하고 갱신 실패 시 어떻게 표시할지 정해야 한다.

이 차이는 견적 범위에도 영향을 준다. SGK 스튜디오는 수집 항목, 갱신 주기, 결과 사용처를 적은 범위 문서를 고정한 뒤 무료 진단을 거쳐 서면 고정가로 안내한다. 효과와 소요 시간은 대상 사이트와 회사 업무에 따라 다르다.

사이트가 바뀌어 수집이 끊기면 누가 고치나?

크롤링은 만들고 끝나는 프로그램이 아니라, 대상 사이트의 화면 구조가 바뀔 때마다 손봐야 하는 운영 대상이다. 발주 전에 감지·수정·재수집의 담당을 정해 두지 않으면 어느 날 조용히 빈 데이터가 쌓인다.

대상 사이트는 예고 없이 화면 구조를 바꾸고, 그러면 수집 규칙이 어긋난다. 오류 없이 빈 값이나 이전 값이 계속 들어오는 경우가 가장 늦게 발견되므로, 수집 건수와 값의 이상 여부를 확인하는 점검 항목이 필요하다.

SGK 스튜디오 운영 표준은 수집 실패 알림, 수정 요청 경로, 수정 범위(유지보수에 포함할지 별도로 볼지)를 계약 문서에 적어 두는 방식을 쓴다. 회사 쪽에서는 결과 데이터를 실제로 쓰는 담당자와 실패 알림을 받을 담당자를 미리 지정해야 한다.