크롤링으로 질문을 모으고 나면 다음 고민이 시작됩니다. 하루에 수백 건씩 쌓이는 이 질문들을 어떻게 콘텐츠에 쓸 형태로 정리할 것인가. 사람이 하나씩 읽어 분류하는 방식은 수집을 자동화한 의미를 지웁니다. 그래서 이 프로젝트는 LLM에게 분류와 키워드 추출을 맡겼는데, 그냥 맡기는 것과 제대로 맡기는 것 사이에는 비용과 안정성에서 큰 차이가 있었습니다.
질문 하나마다 부르지 않는다
가장 먼저 정한 원칙은 질문을 묶어서 처리한다는 것이었습니다. 질문 하나마다 LLM을 한 번씩 부르면, 수백 건을 처리하는 데 수백 번의 호출이 생깁니다. 호출 수가 늘면 비용도 늘지만 그보다 지연이 문제입니다. 한 번의 왕복마다 응답을 기다려야 하므로 전체 처리 시간이 길어집니다.
그래서 질문을 열댓 개씩 한 묶음으로 만들어 한 번에 보냈습니다. LLM은 묶음 안의 질문들을 한꺼번에 읽고 각 질문의 분류 결과를 한 번의 응답으로 돌려줍니다. 이렇게 하면 같은 양의 질문을 처리하는 데 드는 호출 수가 크게 줄고 처리 시간도 짧아집니다. 대량 데이터를 LLM으로 다룰 때 묶음 처리는 선택이 아니라 기본에 가깝습니다.
분야는 정해진 목록 안에서만 고르게 한다
LLM에게 자유롭게 분류를 시키면 결과가 흔들립니다. 같은 성격의 질문을 두고 어떤 때는 "가족", 어떤 때는 "가사", 또 어떤 때는 "이혼가정"처럼 매번 조금씩 다른 이름을 붙이면, 나중에 이 결과를 모아 세기가 어려워집니다. 그래서 분야는 미리 정한 목록을 프롬프트에 함께 주고 반드시 그 안에서만 고르도록 못 박았습니다.
이혼, 형사, 부동산, 민사, 노동, 상속처럼 실제로 상담이 자주 일어나는 분야를 목록으로 고정하니, 분류 결과가 일관되게 정리됩니다. 같은 분야의 질문은 같은 이름으로 모이고 어떤 분야에서 질문이 많이 나오는지 세는 일도 단순해집니다. LLM의 창의성이 오히려 방해가 되는 지점에서는 이렇게 선택지를 좁혀 주는 편이 낫습니다.
광고를 거르고 실용적인 주제만 남긴다
수집한 질문이 전부 콘텐츠 주제로 적합하지는 않습니다. 판촉성 표현이 섞이거나 특정 사무소를 홍보하는 글도 있습니다. 그래서 프롬프트에 "일반인이 검색할 법한 실용적인 주제만 고르고 광고성 표현은 걸러 달라"는 기준을 함께 담았습니다. 여기에 각 키워드를 왜 골랐는지 한 줄의 근거도 함께 받아 결과를 사람이 훑을 때 판단을 돕게 했습니다.
비슷한 질문이 여럿 있으면 대표 키워드 하나로 묶게 한 것도 같은 맥락입니다. 표현만 조금 다른 같은 주제가 여러 키워드로 흩어지면 목록이 지저분해지기 때문입니다. 이렇게 정리된 키워드는 같은 것이 다시 나올 때 새로 쌓지 않고 빈도만 올려 어떤 주제가 자주 묻히는지 자연스럽게 드러나게 했습니다.
LLM의 응답을 믿지 않고 방어한다
LLM에게 "JSON으로 달라"고 해도 응답이 늘 깔끔한 JSON은 아닙니다. 앞뒤에 설명을 붙이거나 코드 블록으로 감싸는 경우가 흔합니다. 그래서 응답을 그대로 파싱하지 않고 감싸는 표시를 걷어 낸 뒤 실제 데이터 부분만 골라 읽도록 했습니다. 그래도 형식이 깨져 읽을 수 없으면 그 묶음은 조용히 건너뛰고 기록만 남깁니다.
이 방어 덕분에 한 묶음의 응답이 이상해도 전체 분류가 멈추지 않습니다. LLM을 자동화 파이프라인에 넣을 때는 "가끔 형식을 어긴다"를 전제로 두고 그때도 흐름이 이어지게 만드는 것이 안정성의 핵심입니다. 이렇게 정리된 키워드가 어떻게 콘텐츠 기획으로 이어지는지는 법률 마케팅 키워드 발굴에서 다룹니다.
자주 묻는 질문
질문을 묶어서 보내면 정확도가 떨어지지 않나요?
한 묶음에 너무 많이 담으면 질문마다 집중이 흐려질 수 있어 열댓 개 정도로 묶음 크기를 잡았습니다. 이 정도면 한 번에 처리하면서도 질문별 분류 품질을 유지할 수 있고 호출 수와 지연은 크게 줄어듭니다.
분야를 고정하면 새로운 주제를 놓치지 않나요?
자주 상담이 일어나는 분야를 넓게 잡아 목록을 구성했고 어디에도 맞지 않는 질문을 담을 항목도 두었습니다. 목록을 고정하는 목적은 분류의 일관성이므로, 실제로 새로운 분야가 늘면 목록에 항목을 더해 대응합니다.
LLM 응답이 JSON이 아니면 어떻게 되나요?
응답을 그대로 믿지 않고 데이터 부분만 골라 읽으며 그래도 형식이 깨지면 그 묶음만 건너뛰고 기록을 남깁니다. 한 묶음의 이상이 전체 분류를 멈추지 않게 설계했기 때문에, 나머지 묶음은 정상적으로 처리됩니다.
이 분류 단계가 속한 전체 시스템은 법률 상담 게시판 통합 수집 자동화에서 볼 수 있습니다.