엔지니어링

AI 문서 검수 자동화, 양식 검사를 통과한 문서에 틀린 주장 3개

AI 문서 검수 자동화는 양식 검사만으로는 성립하지 않고, 사실·독자·채점·반론·고유성을 맥락 없는 검증자가 매번 따로 봐야 합니다. 저희는 2026년 11월 12일 양식 검사만 통과한 기관 제출 자료가 발송 대기에 오른 것을 계기로, 검증을 '요청하면 돌리는 옵션'에서 '문서를 만들면 무조건 도는 단계'로 바꿨습니다. 이 글은 그 사이에 의심했다가 지운 가설과 남긴 장치를 기록합니다.

2026-11-15기간: 2026년 11월 12일 기관 맞춤 영업 자료 3건 작업과 그날 정한 표준 절차증상: 양식 검사만 통과한 인천 지역 기관 자료가 발송 대기에 올랐고 중심 주장 3개가 틀려 있었다점수: 기관 자료 2건이 1회차 60~69점, 재작업 3~4회차에 72~74점점수를 올린 수정 다섯 가지: 첫 쪽 사건·의무 원문·바로 쓸 문안·소관 밖 내용 제외·수치 해석검증 5종: 독자 1명·채점자 3명·사실 검증자 1명(주장 15개 대조)·반론 페르소나 3명·이름지우기 1명종료 조건: 가채점 평균 80점 이상, 또는 2회차부터 상승폭 2점 미만, 또는 3회차

증상: 양식 검사를 통과한 문서가 발송 직전까지 갔다

AI 문서 검수 자동화의 빈칸은 양식 검사가 통과시킨 문서 안에 있었습니다. 2026년 11월 12일, 인천 지역 기관에 보낼 실무 자료가 표지·꼬리말·쪽넘김 검사를 모두 통과한 채 대표의 '보내' 승인을 기다리는 목록에 올라갔습니다. 그 문서는 중심 주장 3개가 틀린 상태였습니다. 겉모양은 회사 양식 그대로였고, 기계가 막은 곳은 한 군데도 없었습니다.

같은 날 다른 기관 자료 2건도 사정이 비슷했습니다. 첫 회차를 채점했을 때 60~69점이 나왔고, 3~4회차까지 다시 고쳐서야 72~74점에 닿았습니다. 그리고 그날 작업한 기관 자료 3건은 모두 받는 사람을 계약 담당 부서로 잡고 있었습니다. 자료를 실제로 읽고 쓸 사람은 다른 부서인데도 그랬습니다.

증상을 셋으로 정리하면 이렇습니다. 틀린 사실이 양식 검사를 그대로 지나갔고, 매번 첫 회차 점수가 낮았고, 받는 사람 설정이 3건 모두 어긋났습니다. 여기에 운영상 증상이 하나 더 붙어 있었습니다. 독자검증·가채점·교차검증·적대검증을 대표가 매번 따로 요청해야 했다는 점입니다. 요청이 빠지면 그 문서는 양식 검사만 받고 나갔습니다.

인천 지역 기관 자료는 양식 검사 통과 후 중심 주장 3개 오류. 기관 자료 2건은 1회차 60~69점, 3~4회차 72~74점. 기관 자료 3건 모두 계약 부서로 수신자 지정
2026년 11월 12일에 드러난 증상 세 가지

처음 의심한 것: 문장을 더 다듬으면 되는 문제였나?

돌이켜 보면 당시 흐름은 두 가지 가정을 깔고 있었습니다. 둘 다 누가 회의에서 선언한 가설은 아니고, 절차가 그렇게 짜여 있었기 때문에 자연히 믿고 있던 전제였습니다.

  • 가정 A: 양식 검사를 통과하면 보낼 수 있는 문서다. 회사 양식 표지, 쪽넘김, 금지 기호, 약속 표현을 기계가 보고 있으니 나머지는 쓰는 쪽의 몫이라고 봤습니다.
  • 가정 B: 점수가 낮은 이유는 문서마다 다르고, 회차를 늘려 다듬으면 오른다. 실제로 3~4회차에 72~74점까지 올랐으니 이 가정은 처음엔 맞아 보였습니다.

가정 B가 맞다면 처방은 '더 많이 고쳐라'입니다. 가정 A가 맞다면 인천 지역 기관 건은 운이 나빴던 한 번이고, 양식 검사에 규칙 몇 줄을 더하면 끝납니다. 둘 중 어느 쪽이든 절차 자체를 바꿀 이유는 없었습니다. 그래서 먼저 이 두 가정을 확인하기로 했습니다.

무엇으로 확인했나: 맥락 없는 검증자 다섯 종류

확인 수단은 문서를 쓴 에이전트가 아니라, 대화 맥락을 하나도 받지 않은 별도 검증자였습니다. 쓴 쪽이 같은 맥락에서 '검토해 보니 좋다'고 판단하면, 쓸 때 놓친 것을 읽을 때도 똑같이 놓칩니다. 그래서 검증자마다 문서 PDF 하나만 건네고 역할을 하나씩 줬습니다.

검증 5종 표. 독자검증 1명, 가채점 채점자 3명, 교차검증 사실 검증자 1명이 주장 15개 대조, 적대검증 페르소나 3명, 이름지우기 제3자 1명
맥락 없는 검증자 5종: 누가 무엇을 보나

가채점은 채점자 3명의 점수를 100점으로 환산해 평균을 냅니다. 공모전이나 입찰처럼 공고에 평가표가 있으면 그 평가표를 채점 기준으로 넣습니다. 기본 채점표로 채점하면 실제 심사와 다른 잣대로 점수를 매기는 셈이라 가채점이 의미를 잃기 때문입니다. 교차검증은 웹을 열 수 있는 검증자가 문서 속 사실 주장 15개를 골라 원문 URL과 대조하고 '맞음·틀림·확인불가'로 표시합니다.

한 번 돌리는 데 10~20분이 걸리므로 백그라운드로 돌립니다. 검증자가 시간을 넘기거나 형식이 깨진 답을 내면 1회 재시도하고, 그래도 실패하면 판정표에 그 검증자 이름을 빈 칸으로 남긴 채 다음으로 넘어갑니다. 검증자 하나가 실패해도 전체가 멈추지 않게 하려는 설계입니다.

알리바이: 왜 양식 검사도, 다듬기 횟수도 범인이 아니었나?

가정 A부터 지워졌습니다. 양식 검사는 원래 맡은 일을 정확히 했습니다. 표지와 꼬리말, 쪽넘김, 금지 기호를 모두 제대로 봤습니다. 문제는 그 검사기가 문장의 사실 여부를 볼 수단을 처음부터 갖고 있지 않았다는 데 있었습니다. 인천 지역 기관 자료의 틀린 주장 3개는 양식 규칙을 아무리 더해도 걸릴 수 없는 종류였습니다. 양식 검사는 범인이 아니라 사실 검증이 비어 있다는 사실을 가리고 있던 쪽이었습니다.

가정 B는 더 흥미롭게 무너졌습니다. 기관 자료 2건을 3~4회차까지 고친 기록을 나란히 놓고, 점수를 실제로 올린 수정이 무엇이었는지 봤습니다. 문서마다 다른 문제를 고친 게 아니었습니다. 매번 같은 다섯 가지를 고쳤습니다. 문서마다 사정이 다르다는 가정이 틀렸으니 '회차를 늘려 다듬는다'는 처방도 함께 틀린 셈입니다. 같은 다섯 가지를 매번 3~4회차에 가서야 고칠 거라면, 그 다섯 가지는 다듬기가 아니라 쓰기 전에 채워야 할 재료였습니다.

점수를 올린 수정이 매번 같은 다섯 가지라면, 그건 퇴고 단계의 문제가 아니라 리서치 단계의 빈칸이다.

회차를 늘리는 쪽에는 천장도 보였습니다. 남은 감점 가운데 일부는 문장으로 고칠 수 없는 구조 한계였습니다. 회사 양식 표지와 꼬리말이 영업처럼 읽혀 '영업 절제' 항목이 6~7/10에 머무는 감점, 공개 자료에 없는 평가 지표를 묻는 감점이 그랬습니다. 이런 감점은 몇 회차를 더 돌려도 그대로 남습니다.

진짜 원인: 검증은 옵션이었고, 재료는 늦게 들어왔다

원인은 두 겹이었습니다. 첫째, 검증이 기본값이 아니라 요청해야 돌아가는 옵션이었습니다. 대표가 '독자검증·가채점·교차검증·적대검증'을 매번 직접 요청해야 했고, 요청이 빠진 문서는 양식 검사만 거쳤습니다. 인천 지역 기관 건은 이 빈틈으로 빠져나간 경우였습니다.

둘째, 점수를 결정하는 재료가 초안을 쓴 뒤에야 들어왔습니다. 1회차 60~69점은 글솜씨 문제가 아니라, 첫 초안을 쓸 때 다섯 가지 재료가 아직 없었다는 신호였습니다. 받는 부서를 계약 담당으로 잡은 결함도 같은 뿌리였습니다. '누가 이 자료를 실제로 쓰나'를 리서치 단계에서 묻지 않았기 때문에 3건 모두 같은 자리로 갔습니다.

점수를 올린 다섯 가지 수정 표. 첫 쪽 사건, 의무 원문, 바로 쓸 문안, 소관 밖 내용 제외, 수치 해석. 의무 원문은 경기 건 +11점, 고양 건 +5점
재작업 때마다 반복된 수정 다섯 가지

고친 방법 ①: 한 번 요청에 0단계부터 7단계까지

첫 번째 수정은 검증을 옵션에서 기본값으로 옮긴 일입니다. 2026년 11월 12일 대표의 요청은 이랬습니다. '독자검증, 가채점, 교차검증, 적대검증을 내가 매번 요청하게 하지 말고, 문서를 만들어 달라는 한 번 요청에 표준 워크플로우로 한 번에.' 그래서 문서 작성 요청이 들어오면 에이전트가 0단계부터 7단계까지를 같은 세션 안에서 끝까지 돌고, 단계 사이에 대표에게 묻지 않게 바꿨습니다.

문서 파이프라인 흐름도. 0 유형 판별, 1 근거 리서치, 1.5 사전 5칸, 2 초안, 3 기계 게이트, 4 검증 5종, 5 처리와 수정, 6 종료 판정, 7 전달. 수정 후 3단계로 되돌아가는 반복
문서 한 건이 지나가는 0~7단계

0단계에서 문서 유형을 6가지 중 하나로 정합니다. 기관 맞춤 영업 자료, 기술검토서, 회사소개서, 공모전·입찰 제출 자료, 제안서·견적서, 콜드메일입니다. 유형에 따라 함께 여는 부품이 다릅니다. 예를 들어 공모전·입찰은 공고 원문 평가표를 채점 기준으로 넣고 제출 규정과 제출서류를 전수 대조하며, 콜드메일은 정보통신망법 제50조 표시를 함께 확인합니다.

1단계 근거 리서치는 고객·기관마다 서브에이전트를 하나씩, 동시에 4개 이하로 띄웁니다. 각 서브에이전트는 공개 원문을 직접 열고, '없다·불가' 같은 부정 판정은 세 번 확인합니다. 기관 맞춤 자료라면 90일 안에 날짜가 박힌 그 기관의 사건이 없을 경우 그 기관을 아예 대상에서 뺍니다. 니즈 가설은 3줄로 씁니다. 무슨 사건이 있었나, 누가 막히나, 방치하면 그 사람이 누구에게 설명해야 하나. 받는 사람은 계약 부서가 아니라 자료를 쓸 부서로 정합니다.

고친 방법 ②: 다섯 가지 재료를 초안보다 먼저 채우게 했나?

두 번째 수정은 가정 B를 지운 결과를 절차로 옮긴 일입니다. 매번 3~4회차에 가서 고치던 다섯 가지를 1.5단계, 즉 초안을 쓰기 전 칸으로 당겼습니다. 목표는 첫 초안 1회차에서 70점 이상을 받는 것입니다. 리서치 메모 파일에 아래 다섯 줄이 없으면 기계 게이트가 실패하고 다음 단계로 넘어가지 못합니다.

초안 전에 채워야 하는 다섯 칸
칸무엇을 적나왜
첫 쪽 사건90일 안에 날짜가 박힌 그 기관의 사건문서 1쪽 맨 위에 둔다
의무 원문기관이 이미 진 의무(법 조문 또는 기관 자체 계획·과제 원문), 번호와 URL 필수가장 큰 상승 요인(경기 건 +11, 고양 건 +5)
바로 쓸 문안'안내하시면 됩니다' 같은 지시가 아니라 공지·안내·과업 문장 완성본받는 사람이 그대로 옮겨 쓸 수 있게
소관 안받는 부서 업무 밖 내용(누리집 결함 점검표·다른 부서 집계)은 넣지 않는다영업으로 읽혀 매번 감점
수치 해석집계 기준일·복수 선택·중복을 표 위에 밝힌다'108명+51명>141명' 불신 사례

'수치 해석' 칸은 실제 사례에서 나왔습니다. 표에 108명과 51명을 나란히 적고 합계 칸에 141명을 적었더니, 독자는 두 수를 더한 값이 합계보다 크다는 점에서 표 전체를 믿지 않았습니다. 복수 선택이 허용된 집계였다는 사실을 표 위에 한 줄만 적었어도 피할 수 있는 감점이었습니다.

2단계 초안은 회사 양식 생성기로만 찍습니다. 임시 HTML이나 즉석 빌드는 쓰지 않습니다. 3단계 기계 게이트는 매 회차 양식·쪽넘김·금지 기호·약속 표현·번역체를 보고, 실패하면 고쳐서 통과시킨 뒤에야 검증으로 넘어갑니다. 양식 검사가 사라진 게 아니라 순서상 맨 앞 관문으로 자리를 잡았을 뿐입니다.

같은 실수를 막는 장치: 처리 칸, 종료 조건, 보내기 전 관문

검증을 돌리는 것만으로는 부족했습니다. 지적이 나와도 처리하지 않고 넘어가면 같은 일이 반복됩니다. 그래서 장치 세 개를 붙였습니다.

첫째, 처리 칸입니다. 회차마다 나오는 지적표의 처리 칸을 모두 '반영: 무엇을' 또는 '미반영: 사유'로 채워야 합니다. 교차검증이 '틀림'이라고 한 항목은 원문을 직접 열어 확인한 뒤 고치고, 검증자가 틀렸으면 근거 URL을 붙여 미반영으로 둡니다. 지적표가 덜 채워져 있으면 다음 회차 검증 명령이 실행을 거부합니다.

둘째, 종료 조건입니다. 끝은 사람이 '이 정도면 됐다'고 말할 때가 아니라 기계가 판정합니다. 기계 게이트 통과, 마지막 회차 처리 칸 빈 곳 0, 그리고 가채점 평균 80점 이상 또는 2회차부터 상승폭 2점 미만 또는 3회차 도달 가운데 하나가 모두 맞아야 합니다. 사실 '틀림'이 하나라도 처리되지 않았으면 점수와 상관없이 끝나지 않습니다.

종료 판정 조건 표. 기계 게이트 통과 AND 처리 칸 빈 곳 0 AND (가채점 평균 80점 이상 OR 2회차부터 상승 2점 미만 OR 3회차). 사실 틀림 미처리 시 종료 불가
종료 판정: 사람이 아니라 기계가 끝을 정한다

셋째, 보내기 전 관문입니다. 대표에게 '보낼까요'를 묻기 전에 나갈 PDF가 검증 판정 기록에 통과로 남아 있어야 합니다. 우편으로 보낼 인쇄본도 마찬가지입니다. 통과 기록이 없는 문서는 검토 묶음에 '미검증'으로 표시하고 보내기 후보에서 뺍니다. 발송 스크립트와 메일 첨부 검사도 같은 판정 기록을 읽어, 광고 표시가 붙은 메일에 미검증 첨부가 실리면 막습니다. 인천 지역 기관 건처럼 양식만 통과한 문서가 발송 대기에 오르는 길을 구조로 닫은 셈입니다.

보고 형식도 네 가지로 고정했습니다. 가채점 추이, 사실 틀림 0 여부, 남은 위험, 그리고 대표가 할 일(보내기 또는 제출하기)입니다. 외부 발송과 제출은 여전히 대표의 명시적 승인 뒤에만 합니다. 바뀐 점은 그 승인 앞에 놓이는 문서가 이제 검증 5종을 반드시 거친 문서라는 것입니다. 발송 직전 검사를 다룬 다른 사례는 보고서 자동화의 발송 전 점검에 정리해 두었습니다.

아직 남은 것: 고치지 않기로 한 감점은 무엇인가?

이 절차는 모든 감점을 없애지 못합니다. 그래서 일부는 고치지 않기로 정했습니다. 1인 회사라는 점이나 실적이 아직 적다는 점처럼 문장으로 고칠 수 없는 한계는 '미반영: 구조 한계'로 적고 넘어갑니다. 회사 양식 표지와 꼬리말 때문에 영업 절제 점수가 6~7/10에 머무는 것도 고치려 하지 않고 판정표에 남깁니다.

3회차를 넘겨 다듬는 일도 금지했습니다. 점수가 정체하면 멈추고 남은 감점을 구조 한계로 기록합니다. 다만 예외가 하나 있습니다. 정체 원인으로 지목된 항목을 실제로 고쳤다면, 고친 내용을 명시하고 1회차만 다시 잽니다. 고양 건은 이 재측정에서 68.7점이 73.7점으로 올랐습니다. 무작정 회차를 늘리면 정체가 이어졌을 테고, 원인을 짚고 한 번만 다시 잰 쪽이 점수를 움직였습니다.

고양 건 재측정 막대. 정체 원인 수정 전 68.7점, 수정 후 1회차 재측정 73.7점
원인을 고친 뒤 한 번만 다시 잰 결과

남은 질문도 있습니다. 공고 평가표가 이미지나 한글 파일이라 텍스트로 옮기지 못하면 기본 채점표로 돌리고 판정표에 '공고 평가표 미확보'를 적는데, 이 경우 가채점 점수는 실제 심사와 거리가 있습니다. 공개 자료에 없는 평가 지표를 묻는 감점도 아직 다룰 방법을 찾지 못했습니다. 비슷한 검증 구조를 기술검토서에 적용한 기록은 기술검토서 CTO 독자 채점에 있고, 사내 문서에 이런 검증 단계를 붙이는 일이 궁금하다면 상담으로 문의해 주세요.

같은 방식으로 우리 업무를 재보고 싶다면

이 글에 쓴 계측·판정·자동화는 저희가 실제로 매일 돌리는 방식 그대로입니다. 어떤 작업을 자동화할 수 있고 어디를 사람이 잡아야 하는지, 현재 업무 흐름을 놓고 같이 짚어 드립니다.

새 글이 올라오면 알려 드립니다

이런 계측 기록을 새로 쓰면 메일로 한 통 보냅니다. 광고나 판촉은 보내지 않습니다.