저도 비슷한 문제로 고민했는데 결국 벡터 디비가 현실적이더라고요. 클로드 같은 긴 컨텍스트 모델도 써봤는데 비용이 장난 아니고, 실무에선 RAG 방식이 훨씬 효율적인 것 같습니다. 요즘 Llama 2 70B에 RoPE 보간 적용한 버전도 있긴 한데 여전히 한계가 있어서 결국 임베딩 + 벡터DB 조합으로 가는 게 최선인 것 같아요.
프롬프트
토큰 길이 제한 없이 긴 문맥 처리하는 모델 어떤 거 써보셨어요?
요즘 프로젝트에서 긴 문서를 한 번에 분석해야 하는데 보통의 트랜스포머 모델들은 토큰 제한이 있어서 자르고 자르고 하는 게 너무 비효율적이더라고요. 청크 단위로 나눠서 처리하면 문맥 손실이 생길 수밖에 없고요.
혹시 이런 문제를 잘 해결하는 모델 사용해보신 분 있나요? RoPE 위치 보간이나 ALiBi 같은 방식도 봤는데 실제로 얼마나 효과가 있는지 궁금합니다. 아니면 그냥 벡터 디비로 처리하는 게 더 현실적인가요?
혹시 이런 문제를 잘 해결하는 모델 사용해보신 분 있나요? RoPE 위치 보간이나 ALiBi 같은 방식도 봤는데 실제로 얼마나 효과가 있는지 궁금합니다. 아니면 그냥 벡터 디비로 처리하는 게 더 현실적인가요?
추천 4 비추천 0
- 이전글LLM 파인튜닝할 때 QLoRA 말고 다른 방법 써보신 분?26.09.09
- 다음글요즘 LLM 파인튜닝 해보신 분들 경험담 듣고 싶어요26.09.06