RAG챗봇 구축, 답변 품질을 좌우하는 것 — 모델 선택이 아니라 문서 분할·갱신·담당 구조 (2026)

RAG챗봇 답변 품질, 모델이 아니라 무엇이 좌우하나?

RAG챗봇 답변 품질은 모델 선택이 아니라, 답변에 쓰일 문서를 어떻게 나누고 갱신하느냐가 좌우한다.

문서 기반 답변은 질문에 해당하는 근거 문서를 먼저 찾고, 그 문서에서 답을 뽑아 쓰는 구조다. 같은 내용을 담은 자료가 여럿이거나 문서가 오래되면, 시스템이 어느 조각을 근거로 삼아야 할지 판단하기 어려워진다.

그래서 발주 단계에서 '어떤 모델을 쓸지'보다 '어떤 문서를 어떤 단위로 넣을지'가 답변 품질의 큰 변수로 남는다.

문서를 어떻게 나누는지가 답변을 가르는 이유?

검색의 단위는 문서 전체가 아니라 문서를 나눈 조각이다. 조각을 나누는 방식에 따라 같은 질문도 다른 답이 나온다.

답변 품질은 두 지점에서 갈린다. 첫째는 답이 담긴 조각이 검색에 걸리는지, 둘째는 걸린 조각 안에 답이 충분히 들어 있는지다.

한 문서에 여러 항목이 섞여 있으면, 찾는 항목이 아닌 다른 항목을 근거로 답하는 경우가 생긴다. SGK 스튜디오 AI챗봇 구축 표준은 자료를 주제별로 나누고, 각 조각이 하나의 질문에 답할 수 있도록 정리하는 것을 전제로 한다.

도입 후 문서를 갱신하지 않으면 어떤 일이 벌어지나?

문서 기반 답변은 시스템에 반영된 시점의 문서만 알고 답한다. 문서가 갱신되지 않으면 변경된 내용이 답변에 그대로 빠진다.

가격·일정·절차처럼 자주 바뀌는 내용은 문서가 최신일 때만 정확한 답이 된다. 도입 후 문서를 누가 언제 갱신하는지 정하지 않으면, 출시 직후부터 옛 정보를 근거로 답하는 상태가 이어진다.

갱신 담당자와 주기를 정하고, 바뀐 문서가 시스템에 반영되는 경로까지 구축 범위에 포함되는지 계약 전에 확인하는 것이 좋다.

답변 품질의 합격 기준은 무엇으로 정하나?

품질은 감이 아니라 기준으로 평가한다. 발주 전에 어떤 질문에 어떤 답이 합격인지 문서로 정의하면, 이후 검수가 담당자마다 달라지지 않는다.

자주 들어올 질문 목록을 만들고, 각 질문에 기대하는 답과 근거 문서를 짝지어 둔다. 구축 후 검수는 이 목록을 기준으로 질문별로 진행할 수 있다.

정성적 표현으로만 기준을 남기면 담당자마다 판단이 갈린다. 질문·근거 문서·기대 답을 세트로 남기는 것이 일관된 검수의 출발점이다.

같은 자료를 넣어도 활용 수준은 회사마다 다르다. 합격 기준을 어느 수준으로 둘지는 회사가 원하는 답변 수준에 맞춘다.