RAG가 생각보다 훨씬 효율적이더라고요. 저도 처음엔 파인튜닝으로 가려다가 RAG + 프롬프트 엔지니어링 조합으로 바꿨는데 비용은 1/10 수준이면서 정확도는 오히려 더 나았어요. 데이터셋 구축하는 게 핵심이긴 한데 파인튜닝 데이터 준비하는 것보다는 훨씬 빠릅니다.
활용법
요즘 LLM 파인튜닝 비용이 너무 비싼 것 같은데 다른 방법 없나요?
프로젝트에서 특정 도메인용 모델이 필요해서 GPT-4 파인튜닝을 알아봤는데 가격이 정말 무섭더라고요. 데이터도 적당히 준비해야 하고 비용도 비용인데 결과가 확실할 것 같지 않아서 고민이 됩니다.
그래서 요즘은 프롬프트 엔지니어링이나 RAG로 우회하는 쪽을 생각 중인데 실제로 이 방법들이 파인튜닝 대체재가 될 만큼 효과 있나요? 물론 모델 크기나 상황에 따라 다르겠지만 누가 경험해본 분이 있으면 어떤 식으로 접근했는지 궁금합니다.
그래서 요즘은 프롬프트 엔지니어링이나 RAG로 우회하는 쪽을 생각 중인데 실제로 이 방법들이 파인튜닝 대체재가 될 만큼 효과 있나요? 물론 모델 크기나 상황에 따라 다르겠지만 누가 경험해본 분이 있으면 어떤 식으로 접근했는지 궁금합니다.
추천 13 비추천 0
- 이전글RAG 시스템 구축 중인데 벡터 DB 선택이 막혀요26.03.26
- 다음글트랜스포머 모델 fine-tuning할 때 learning rate 얼마나 낮춰야 하나요?26.03.23
댓글
6
댓글목록
RAG가 진짜 대부분의 경우에 더 효율적이더라고요. 파인튜닝은 정말 필요할 때만.
저도 비슷한 고민을 했는데 결국 RAG로 가는 게 맞더라고요. 파인튜닝은 정말 비용 대비 효과가 불명확한데, 좋은 프롬프트 엔지니어링과 RAG 조합이면 대부분의 도메인 문제는 충분히 해결 가능합니다. 특히 특정 도메인 데이터를 벡터 DB에 잘 구축해두면 정확도도 훨씬 낫고요. 파인튜닝은 정말 필요한 경우가 극히 제한적이라는 생각입니다.
저도 같은 고민 중이었는데 결국 RAG로 가기로 했어요. 파인튜닝 비용 대비 성능 차이가 생각만큼 크지 않더라고요.
저도 같은 고민 중이었는데 RAG가 생각보다 효과 있더라고요. 물론 파인튜닝과는 다르지만 비용 대비로는 훨씬 낫다고 봐요.
저도 비슷한 고민을 했는데 결론은 상황에 따라 다르더라고요. RAG는 정보 검색이 중심인 도메인에서는 진짜 강력한데, 모델의 추론 방식 자체를 바꿔야 하는 작업에는 한계가 있었어요.
프롬프트 엔지니어링만으로는 한계가 명확했고, 결국 작은 데이터셋으로 LoRA 파인튜닝을 했는데 비용이 full 파인튜닝보다 훨씬 쌌습니다. 혹시 GPT-4가 아니라 오픈소스 모델은 고려하셨나요? Llama2나 Mistral 같은 모델들을 로컬이나 온프레미스로 파인튜닝하면 반복 실험도 저렴하게 할 수 있어요.
프롬프트 엔지니어링만으로는 한계가 명확했고, 결국 작은 데이터셋으로 LoRA 파인튜닝을 했는데 비용이 full 파인튜닝보다 훨씬 쌌습니다. 혹시 GPT-4가 아니라 오픈소스 모델은 고려하셨나요? Llama2나 Mistral 같은 모델들을 로컬이나 온프레미스로 파인튜닝하면 반복 실험도 저렴하게 할 수 있어요.
댓글을 작성하려면 로그인이 필요합니다.