건강·의학 주제로 AI 영상을 만들면 편리하지만 위험도 함께 옵니다. AI는 그럴듯한 문장을 잘 만들어서, "이걸 먹으면 낫는다" 같은 단정을 아무렇지 않게 써 버리기도 합니다. AI 영상 자동화 팩토리는 건강 채널을 운영하므로 이 문제가 곧바로 컴플라이언스 리스크였습니다. 이 글은 AI가 만든 의료 콘텐츠 팩트체크를 자동화한 가드레일 설계를 정리한 것입니다.
AI 의료 콘텐츠 팩트체크가 필요한 이유
의료 정보는 틀리면 사람에게 해가 되고, 플랫폼 정책과도 충돌합니다. 유튜브 건강 정책과 우리 채널 원칙은 치료법을 단정하지 말 것, WHO·CDC 같은 공신력 있는 출처에 근거할 것, 진단을 단정하지 말 것을 요구합니다. 그런데 대본 생성 AI는 이런 경계를 스스로 지키지 않습니다. 프롬프트로 "단정하지 마"라고 지시해도, 생성 결과에 금지 주장이 섞여 들어가는 경우가 생깁니다.
그래서 필요한 건 생성 프롬프트가 아니라, 생성 결과를 사후에 검사하는 별도의 관문입니다. 생성과 검증을 분리해야 "AI가 지침을 어겼는지"를 독립적으로 확인할 수 있습니다.
대본 생성 직후, 별도 분류기로 검사한다
우리는 대본이 생성된 직후 그 결과를 별도의 LLM 분류기(팩트체커)로 검사합니다. 이 분류기는 대본을 읽고 금지 주장이 하나라도 있으면 통과시키지 않습니다. 검사하는 금지 범주는 네 가지로 명확히 정의돼 있습니다.
| 범주 | 무엇을 잡나 |
|---|---|
| 치료법 단정 | "~을 먹으면 낫는다", "~로 치료된다" 같은 완치·치료 단정 |
| 백신 민감 주제 | 백신 안전성·효능·의무에 대한 민감한 주장 |
| WHO/CDC 미검증 | 공신력 있는 출처로 추적되지 않는 구체적 의학 주장 |
| 진단 단정 | "이 증상이 있으면 ~병이다" 같은 진단 단정 |
분류기는 통과 여부(passed), 사유(reason), 문제가 된 문장(flagged_text)을 함께 돌려줍니다. 차단되면 잡은 실패 처리되고, 어떤 문장이 왜 걸렸는지가 기록으로 남습니다. 사람이 그 사유를 보고 주제를 조정하거나 재생성할 수 있습니다.
이 "차단 사유를 남기는" 설계가 중요합니다. 단순히 통과/차단만 알려 주면 왜 막혔는지 알 수 없어 개선이 어렵습니다. 걸린 문장과 사유가 함께 남으면, 특정 주제가 반복해서 걸리는 패턴을 발견하고 그 주제 자체를 사전 차단 목록에 넣는 식으로 앞단을 고칠 수 있습니다. 검증은 막는 것으로 끝나지 않고, 다음 생성을 더 안전하게 만드는 데이터가 되어야 합니다.
판정은 값싼 모델로, 비용을 감당 가능하게
팩트체크는 모든 대본에 대해 매번 돌아야 하므로, 여기에 비싼 모델을 쓰면 비용이 감당되지 않습니다. 그래서 대본 생성에는 상위 모델을, 팩트체크 판정에는 값싼 하위 모델(Haiku 계열 분류기)을 씁니다. 판정은 "통과냐 차단이냐"라는 좁은 작업이라 값싼 모델로 충분하고, 건당 비용이 매우 낮아 모든 대본에 걸어도 부담이 없습니다. 이 "생성은 비싸게, 판정은 싸게"라는 모델 티어링의 트레이드오프는 LLM 트레이드오프: 정확도 vs 지연 vs 비용에서 자세히 다루고, 비용 관점의 일반화는 비싼 생성형 AI 비용을 통제하는 법에서 이어집니다.
생성 전 차단과 사후 안전장치
팩트체크는 사후 검사지만, 그 앞뒤로 두 개의 안전장치가 더 있습니다. 하나는 생성 전 차단입니다. 성과가 나빴거나 위험한 주제 키워드는 대본을 생성하기 전에 블랙리스트로 걸러, 애초에 문제 소지가 있는 주제로 생성을 시작하지 않습니다. 다른 하나는 업로드 시 면책 고지 자동 삽입입니다. 완성된 영상 설명란에는 WHO·CDC 근거와 전문가 상담 권고를 담은 의료 면책 문구가 언어별로 자동으로 붙습니다. 한국어·영어 채널이 각자의 언어로 된 면책 문구를 받으므로, 사람이 매번 붙여 넣는 실수를 없애면서 정책 준수를 일관되게 유지합니다.
이렇게 ① 생성 전 블랙리스트, ② 생성 후 팩트체크, ③ 업로드 시 면책 고지, ④ 그리고 최종적으로 사람 승인까지, 여러 겹의 가드레일이 겹쳐 AI 의료 콘텐츠의 리스크를 낮춥니다. 이 팩토리가 사람 승인을 왜 반드시 두는지는 AI 콘텐츠를 완전 자동으로 올리면 안 되는 이유에서, 파이프라인 전체 흐름은 AI 영상 파이프라인이란에서 볼 수 있습니다.
자주 묻는 질문
AI가 만든 의료 콘텐츠를 어떻게 검증하나요?
대본이 생성된 직후, 생성과 분리된 별도의 LLM 분류기로 대본을 검사합니다. 치료법 단정·백신 민감 주제·공신력 출처 미검증 주장·진단 단정 네 범주 중 하나라도 있으면 통과시키지 않고, 어떤 문장이 왜 걸렸는지를 기록합니다.
금지 주장을 어떻게 자동으로 거르나요?
팩트체커가 네 개의 금지 범주를 기준으로 대본을 판정합니다. 하나라도 걸리면 잡을 실패 처리하고 문제 문장을 남깁니다. 이 검사는 생성 프롬프트와 분리돼 있어, AI가 지침을 어겼는지를 독립적으로 확인할 수 있습니다.
모든 대본을 검사하면 비용이 많이 들지 않나요?
팩트체크 판정에는 대본 생성보다 훨씬 값싼 분류 모델을 씁니다. 판정은 통과/차단이라는 좁은 작업이라 값싼 모델로 충분하고, 건당 비용이 매우 낮아 모든 대본에 걸어도 부담이 없습니다.
팩트체크만으로 충분한가요?
아니요. 팩트체크는 여러 겹 중 하나입니다. 생성 전에는 위험·저성과 주제를 블랙리스트로 차단하고, 업로드 시에는 면책 고지를 자동으로 붙이며, 마지막에는 사람이 완성본을 승인합니다. 이 겹겹의 가드레일이 함께 작동해야 리스크가 실제로 낮아집니다.