AI로 콘텐츠를 자동 생성할 때 가장 두려운 시나리오는 품질이 들쭉날쭉한 글이 사람 눈을 거치지 않고 발행되는 것입니다. 자동화의 이점을 살리려면 사람이 매번 안 봐도 되어야 하는데, 안 보면 낮은 품질이 그냥 나갑니다. 이 딜레마를 품질 게이트로 풀었습니다. 생성과 발행 사이에 관문을 하나 두고 그 관문을 어떻게 믿을 만하게 만들었는지 정리합니다.
검증도 AI에게 시키되 믿지는 않는다
품질 판정 자체는 AI에게 맡겼습니다. 검증 단계는 생성된 글과 그 글이 참고한 원본 소스를 함께 받아 사실이 소스와 어긋나지 않는지, 표현이 반복되지 않는지, 읽기 쉬운지를 평가해 점수를 매깁니다. 사람이 정성 기준을 코드로 옮기기 어려운 영역이라 모델의 판단을 빌리는 편이 현실적입니다.
문제는 모델이 매긴 점수를 어디까지 믿느냐입니다. 같은 글을 두고도 모델은 어떤 날은 후하게, 어떤 날은 박하게 점수를 줄 수 있고 "통과입니다"라는 판정을 그대로 받아들이면 낮은 품질이 통과 도장을 받고 나가 버립니다. 그래서 판정과 결정을 분리했습니다.
통과 여부는 서버가 강제한다
모델은 점수를 반환하지만 통과냐 아니냐의 최종 판단은 모델이 아니라 서버 코드가 내립니다. 검증 단계는 모델이 뭐라고 결론 내렸든 상관없이, 반환된 점수를 정해진 임계값과 비교해 통과 여부를 다시 계산합니다. 모델이 "통과"라고 적어 보내도 점수가 기준 아래면 통과가 아닙니다.
이 한 겹의 강제가 중요한 이유는, 모델의 결론이 흔들려도 게이트의 기준은 흔들리지 않기 때문입니다. 품질의 선은 코드에 고정돼 있고 모델은 점수라는 재료만 제공합니다. 판정을 모델에게, 결정을 코드에게 나눠 맡긴 덕분에 게이트가 일관되게 동작합니다.
못 넘으면 다시 쓴다
기준을 넘지 못한 글을 버리지는 않습니다. 검증기가 무엇이 부족한지를 함께 반환하면, 그 지적을 재작성 지시로 만들어 초안 작성 단계로 되돌립니다. 초안 작성기는 같은 토픽과 소스에 재작성 지시를 더해 글을 다시 쓰고 새 초안은 다시 게이트를 통과해야 합니다.
이 되돌림이 자동화의 핵심입니다. 사람이 "이 부분이 약하니 다시 써 주세요"라고 말하던 왕복을, 검증기의 지적과 재작성 지시가 대신합니다. 품질이 기준에 닿을 때까지 파이프라인이 스스로 고쳐 쓰는 셈입니다.
지적을 구체적으로 만드는 것이 이 루프의 성패를 가릅니다. "품질이 낮다" 같은 막연한 피드백으로는 다시 써도 같은 자리를 맴돕니다. 그래서 검증기가 어느 문장이 소스와 어긋나는지, 어떤 표현이 반복되는지를 짚어 반환하게 했고 그 지적이 그대로 재작성 지시가 되어 초안 작성기가 무엇을 고쳐야 하는지 알고 다시 쓰도록 만들었습니다.
무한 루프를 막는 상한
다시 쓰기를 무한히 허용하면 위험합니다. 어떤 토픽은 소스가 부실해서 몇 번을 다시 써도 기준을 못 넘을 수 있고 그때 재작성이 끝없이 돌면 시간과 비용이 새어 나갑니다. 그래서 재시도 횟수에 상한을 걸었습니다.
정해진 횟수만큼 다시 써도 기준을 못 넘으면 그 글은 자동 통과시키지 않고 사람 검토로 넘깁니다. 자동화가 해결하지 못한 사례를 조용히 흘려보내지 않고 사람의 판단으로 정확히 넘기는 것, 이것이 무인 운영에서 신뢰를 만드는 지점입니다. 게이트를 통과한 글도 결국 사람의 승인을 거쳐 발행되는데, 그 전체 흐름은 AI SEO 콘텐츠 생성·발행 자동화 사례에 있습니다.
왜 별도 단계여야 했나
품질 검증을 초안 작성에 합치지 않고 독립 단계로 둔 덕분에 이 재작성 루프를 깔끔하게 조립할 수 있었습니다. 단계를 나눈 배경은 AI 콘텐츠 생성 5단계 파이프라인 설계에서 더 다룹니다.
자주 묻는 질문
모델이 매긴 점수를 왜 그대로 믿지 않나요?
같은 글도 모델은 상황에 따라 점수를 후하거나 박하게 줄 수 있고 "통과"라는 판정을 그대로 받으면 낮은 품질이 통과됩니다. 그래서 점수는 모델에게 받되 통과 여부는 서버 코드가 임계값으로 다시 계산합니다. 품질의 기준선을 코드에 고정하기 위해서입니다.
기준을 못 넘은 글은 어떻게 되나요?
검증기가 지적한 부족한 점을 재작성 지시로 만들어 초안 단계로 되돌리고 다시 쓴 글은 게이트를 다시 통과해야 합니다. 사람이 하던 "다시 써 주세요"의 왕복을 자동화한 구조입니다.
재작성이 끝없이 반복되면 어떻게 하나요?
재시도 횟수에 상한을 두었습니다. 정해진 횟수만큼 다시 써도 기준을 못 넘으면 자동 통과시키지 않고 사람 검토로 넘깁니다. 자동화가 못 푼 사례를 흘려보내지 않고 사람의 판단으로 정확히 넘기는 것이 무인 운영의 신뢰를 만듭니다.