AI 결과물 검수의 함정: 오류 잡다가 결과물의 상한을 낮추지 말자
명백한 오류는 막되, 더 좋은 결과가 나올 가능성까지 막아서는 안 된다.
목차
검수는 결과물을 줄이는 작업이 아니라, 실제 오류가 있는 부분을 찾아 고치는 작업이다.
글자가 슬라이드 밖으로 삐져나와 있었다. 보내기 직전에야 눈에 들어왔다.
엑셀에서는 #REF! 오류가 남아 있었고, 표의 테두리는 어떤 칸에는 있고 어떤 칸에는 없었다. Word 문서에는 지워져야 할 마크다운 기호가 그대로 남아 있었다. 이런 건 취향의 문제가 아니다. 그냥 결과물이 망가진 것이다.
AI가 만든 오피스 파일에는 이런 실수가 자주 생긴다. 그래서 검수 도구는 필요하다. 문제는 검수 도구가 어디까지 개입해야 하느냐다.
검수는 하한을 올리는 일이다
검수 도구가 해야 할 일은 결과물의 하한을 올리는 것이다. 슬라이드 밖으로 나간 텍스트, 깨진 수식, 해결되지 않은 자리표시자, 문서에 남은 마크다운처럼 누구에게 보여도 문제인 것을 감지해야 한다. 이런 오류는 빨리 잡을수록 좋다. 사람이 마지막에 눈으로 찾기에는 너무 사소하고, 그대로 나가면 너무 치명적이다. AI가 파일을 만들었다면, AI가 놓친 명백한 결함을 자동으로 다시 검사하는 장치는 필요하다. 하지만 여기서 선을 넘기 쉽다. 오류를 잡겠다고 만든 도구가 어느 순간 스타일을 강제하기 시작한다.
스타일을 오류라고 설정하면 상한이 낮아진다
몇몇 검수 도구는 폰트 수, 불릿 수, 글자 수, 여백, 색상, 정보 밀도까지 하나의 정답처럼 다룬다. “슬라이드에는 폰트를 두 개만 써야 한다”, “불릿은 여섯 개를 넘으면 안 된다” 같은 식이다.
물론 그런 규칙이 도움이 될 때도 있다. 하지만 언제나 맞는 것은 아니다. 기술 문서, 투자 보고서, 강의 자료, 한 장짜리 발표 슬라이드가 모두 같은 밀도와 같은 모양을 가져야 할 이유는 없다.
이런 규칙을 절대 기준으로 만들면 이상한 일이 생긴다. 모델이 더 좋은 결과를 만들었더라도, 과거의 모범 답안과 다르다는 이유로 감점된다. 그러면 검수 도구는 결과물의 하한을 올리는 장치가 아니라, 결과물의 상한을 낮추는 장치가 된다.
오류와 선택을 나누는 질문
검사 항목을 넣기 전에 먼저 물어야 할 질문이 있다.
첫째, 사용자 의도나 취향이 달라도 거의 언제나 결함인가. 깨진 수식의 #REF!, 슬라이드 바깥으로 밀려난 도형, 해결되지 않은 자리표시자는 대체로 그대로 납품할 이유가 없다.
둘째, 더 유능한 모델도 이 문제는 피하려 할 것인가. 더 나은 결과를 위해 일부러 어길 수 있는 규칙이라면 오류로 단정하지 않는다. 정보 밀도, 색상 조합, 폰트 수, 여백, 문장 길이 같은 항목이 여기에 해당한다.
핵심은 간단하다. 더 뛰어난 모델도 피하고 싶어 할 실패라면 검수 도구가 막아야 한다. 하지만 더 뛰어난 모델이 의도적으로 선택할 수도 있는 표현이라면, 검수 도구가 막아서는 안 된다.
좋은 검수 도구는 모델의 창의적 시도까지 지우지 않고, 실제 결함이 있는 출력만 찾아내야 한다.
모든 문제를 흑백으로 나눌 수는 없다
실제 파일 검수에서 모든 판단이 깔끔하게 나뉘지는 않는다. 텍스트 상자 겹침, 글자 넘침, 작은 글씨, 이미지 비율 변화는 결함일 가능성이 높지만, 의도적인 연출일 수도 있다. 그래서 검수 결과는 나눠야 한다. 확실한 구조적 결함은 ERROR로 표시한다. 다시 눈으로 확인해야 하는 항목은 WARN으로 둔다. WARN은 유죄 판결이 아니다. 확인 요청이다. 이 구분이 없으면 도구는 너무 약해지거나, 반대로 너무 폭력적이 된다.
자동 검사는 마지막 판단을 대신하지 않는다
AI가 오피스 파일을 만들 때 생기는 많은 결함은 결과를 다시 보지 못해서 생긴다. 모델은 좌표와 셀 값을 써 넣지만, 최종 렌더링 화면을 충분히 확인하지 못할 수 있다. 방금 사용자가 고친 최신 파일 상태를 제대로 반영하지 못할 수도 있다.
그래서 자동 검사는 필요하다. 만든 직후에 파일을 다시 읽고, 측정 가능한 결함을 감지해야 한다. 수식 오류, 캔버스 이탈, 남은 마크다운 같은 것은 사람이 마지막에 찾기 전에 기계가 먼저 걸러야 한다.
하지만 자동 검사가 마지막 판단까지 대신할 수는 없다. 문맥, 의도, 독자, 발표 상황은 파일 하나만 보고 완전히 알 수 없다. 좋은 검수 도구는 자신이 확실히 아는 범위를 분명히 해야 한다.
Office File Inspector를 만든 이유
이 원칙으로 Office File Inspector를 정리했다. AI가 만든 PowerPoint, Excel, Word 파일에서 명백한 결함을 찾는 오픈소스 도구다. 목표는 결과물을 한 가지 모양으로 만드는 것이 아니다. 명백한 실패는 일찍 막고, 더 나은 선택을 할 여지는 모델과 사람에게 남겨두는 것이다. 검수 도구는 모델의 가능성을 줄이는 도구가 되면 안 된다. 좋은 검수는 바닥을 높인다. 천장을 낮추지 않는다.