최근 RAG 기반 LLM 시스템 직접 구축해본 후기

프로젝트에서 GPT 기반으로 RAG 시스템을 직접 구축할 일이 생겨서 지난 3주간 이것저것 만져봤는데 생각보다 복잡하더라고요. 처음에는 간단하게 벡터DB에 임베딩 저장하고 코사인 유사도로 retrieval하면 될 줄 알았는데 현실은 그렇게 단순하지 않았습니다.

가장 큰 문제는 문서 청킹이었어요. 제가 다루는 데이터가 마크다운 형식이었는데 단순하게 토큰 수 기준으로 나누니까 문맥이 완전히 깨지는 거예요. 결국 의미 있는 단위로 분할하는데 꽤 오래 걸렸습니다. 사람이 직접 청크 사이즈를 조정하고 overlap을 실험해야 했거든요.

임베딩 모델도 생각할 게 많더라고요. 처음엔 OpenAI의 text-embedding-3-small을 썼는데 한국어 데이터가 섞여있어서 성능이 아쉬웠어요. 결국 한국어에 최적화된 모델들(upstage, ko-e5 같은)을 테스트해봤는데 확실히 차이가 나더라고요. 비용도 고려해야 하고 지연시간도 봐야 해서 여러 번 교체했습니다.

그리고 실제 운영하면서 깨달은 건데 정말로 중요한 건 retrieval 전략이더라고요. 유사도 기준만으로 다중으로 검색해서 상위 K개를 뽑는 것도 의외로 꽤 효과적이었고, 쿼리 재작성(query rewriting)도 도움이 됐어요. LLM으로 사용자 질문을 다시 정제한 후에 검색하니까 정확도가 올라가더군요.

지금까지의 경험이 맞는지 궁금한데 혹시 이미 이런 식으로 구축해보신 분이 계신가요? 특히 대규모 문서를 다루는 경우 어떤 방식으로 처리하시는지 궁금합니다. 더 나은 방법이 있을 것 같기도 하고요.