윤문 도구의 결과를 두고 "이게 정말 나아진 건가?"라고 물으면 대개 답이 궁색합니다. 읽어 보고 자연스러운 것 같다는 인상은 사람마다 다르고 같은 사람도 그날 기분에 따라 다르게 봅니다. 한글 AI 티 제거 하네스는 이 주관성을 줄이기 위해 윤문 전후를 숫자로 재고 그 숫자로 품질 등급을 판정하는 계측 트랙을 두었습니다.
먼저 카테고리별로 세어 비교한다
가장 직관적인 지표는 탐지 건수입니다. 윤문 전 글에서 각 카테고리의 AI 티가 몇 건 잡혔는지 세고 윤문 후 다시 탐지를 돌려 몇 건이 남았는지 셉니다. 번역투가 열 건에서 두 건으로 줄었고 관용구가 다섯 건에서 영 건으로 사라졌다면, 무엇이 얼마나 개선됐는지가 카테고리 단위로 드러납니다.
이 전후 비교가 중요한 이유는 개선의 방향까지 보여 주기 때문입니다. 총 건수만 보면 놓치는 것이 있습니다. 번역투는 잘 걷어냈는데 리듬 균일성은 그대로라면, 다음에 무엇을 더 손봐야 하는지가 카테고리 분해에서 보입니다. 자연도 검증 단계가 바로 이 재탐지를 수행합니다.
문체를 재는 지표들
건수만으로는 다 잡히지 않는 문체의 결이 있습니다. 그래서 문장 단위의 문체 지표를 별도로 계산합니다. 문장 길이가 지나치게 고른지, 같은 종결어미가 반복되는지, 쉼표 사용이 기계적인지, 한자어 명사화가 과한지, 어휘가 다양한지 같은 것들입니다. AI 글은 문장 길이의 편차가 작고 종결어미가 단조로운 경향이 있어 이런 지표가 윤문 전후로 어떻게 움직이는지가 자연스러움의 간접 증거가 됩니다.
여기에 학술적 토대를 더했습니다. 기계번역 이후 문체 연구는 번역되거나 후편집된 텍스트가 원어민 글과 어떻게 다른지를 단순화, 정규화, 간섭이라는 세 축으로 설명합니다. 이 세 축을 지표로 코드화해 윤문된 글이 이 세 방향에서 원어민 글에 얼마나 가까워졌는지를 봅니다. 여러 신호를 가중 합산한 간섭 지표 같은 합성 지표도 두어 번역투의 잔재를 한 숫자로 요약합니다.
지표를 다룰 때 조심한 부분도 있습니다. 한국어로는 정량 검증이 아직 충분치 않은 지표는 별도 트랙으로 분리하고 절대적인 판정 근거로 쓰기보다 참고 신호로만 다뤘습니다. 숫자를 맹신하지 않되 숫자를 버리지도 않는 균형입니다.
숫자를 등급으로 모은다
지표들은 결국 하나의 판단으로 모여야 실용적입니다. 그래서 윤문 결과를 A부터 D까지 네 등급으로 판정합니다. 결정적 신호가 하나도 없고 개선 폭이 크면 A, 결정적 신호는 없지만 개선이 그보다 덜하면 B, 결정적 신호가 한둘 남았거나 과윤문 조짐이 보이면 C, 결정적 신호가 여럿 남았거나 심각하게 과하게 고쳐졌으면 D입니다.
이 등급이 파이프라인의 다음 행동을 결정합니다. A나 B면 채택하고, C면 2차 윤문을 돌리며, D면 자동으로 처리하기 어렵다고 보고 사람 검토로 넘깁니다. 계측이 단순한 성적표가 아니라, 도구가 스스로 다음에 무엇을 할지 정하는 근거가 되는 셈입니다. 결과 요약에는 이 등급과 함께 카테고리 전후 비교가 담겨 왜 이 판정이 나왔는지 사람이 확인할 수 있습니다.
이 지표들이 파이프라인의 판정과 어떻게 연결되는지는 윤문 하네스의 에이전트 파이프라인에서, 과윤문을 막는 변경률 상한은 내용을 지키는 윤문 가드레일에서 다룹니다. 전체 도구의 설계는 한글 AI 티 탐지·윤문 오픈소스 툴 사례에서 볼 수 있습니다.
자주 묻는 질문
윤문이 좋아졌는지 어떻게 숫자로 재나요?
윤문 전후로 각 카테고리의 AI 티가 몇 건 탐지되는지 세어 비교하고 문장 길이 편차나 종결어미 반복 같은 문체 지표의 변화를 함께 봅니다. 여기에 기계번역 이후 문체 연구의 세 축을 지표로 코드화해 글이 원어민 글에 얼마나 가까워졌는지를 계측합니다.
품질 등급 A부터 D는 무엇을 뜻하나요?
결정적 신호가 없고 개선 폭이 크면 A, 그보다 개선이 덜하면 B, 결정적 신호가 한둘 남았거나 과윤문 조짐이 있으면 C, 결정적 신호가 여럿 남았거나 심하게 과하게 고쳐졌으면 D입니다. C면 다시 윤문하고 D면 사람 검토로 넘어갑니다.
지표를 완전히 믿어도 되나요?
지표는 참고 신호로 쓰되 맹신하지 않도록 설계했습니다. 특히 한국어로는 정량 검증이 충분치 않은 지표는 별도 트랙으로 분리해 절대적 판정 근거가 아니라 보조 지표로만 다룹니다. 최종 판단에는 카테고리 탐지 건수처럼 근거가 분명한 지표가 중심이 됩니다.