최근에 LLM에 외부 데이터를 연결하는 RAG를 직접 구현해봤거든요. 간단한 문서 검색 시스템인데 생각보다 까다로운 부분이 많더라고요.
임베딩 모델을 선택할 때 한국어 문서를 다루는 거라 여러 옵션을 비교했어요. 결국 한국어 특화 모델을 썼는데, 문서 분할 방식에 따라 검색 성능이 확 달라지는 거 봤습니다. 저는 단순 고정 길이 분할부터 시작해서 semantic chunking도 시도해봤어요.
다만 프롬프트 엔지니어링 부분이 아직도 불확실해요. 검색 결과가 좋아도 모델이 제대로 활용을 못 하는 경우가 있어서요. 혹시 같은 작업하신 분들은 이 부분을 어떻게 해결하셨나요?
추천 4