전 LoRA로 비용 확 줄였어요. 풀 파인튜닝의 10% 정도 수준으로 가능하더라고요. 프롬프트 엔지니어링만으로는 한계가 있어서 LoRA 추천합니다.
LLM 파인튜닝 비용이 너무 많이 드는데 대안 있을까요?
요즘 자사 데이터로 LLM을 파인튜닝해서 써보려고 하는데 비용이 정말 장난이 아니네요. GPT-4 기반으로 하면 토큰당 비용도 비싸고, 오픈소스 모델 파인튜닝도 GPU 비용이 만만치 않더라고요.
요즘 많은 분들이 이런 상황에서 어떻게 해결하시는지 궁금합니다. LoRA 같은 방식으로 비용을 줄이신 분 계신가요? 아니면 그냥 프롬프트 엔지니어링으로 때우는 게 현실적인지 모르겠어요.
회사 예산이 좀 한정적이라서 비용 효율적인 방법이 있으면 알려주세요.
요즘 많은 분들이 이런 상황에서 어떻게 해결하시는지 궁금합니다. LoRA 같은 방식으로 비용을 줄이신 분 계신가요? 아니면 그냥 프롬프트 엔지니어링으로 때우는 게 현실적인지 모르겠어요.
회사 예산이 좀 한정적이라서 비용 효율적인 방법이 있으면 알려주세요.
추천 3
- 이전글LLM 파인튜닝 처음 하는데 어디서부터 시작해야 할까요?26.06.14
- 다음글ChatGPT랑 Claude 둘 다 써보니까 차이가 확실하네요26.06.13