요즘 개인 프로젝트로 AI 챗봇 같은 거 만들어보려고 하는데, 로컬에서 돌릴지 API 쓸지 정해지지 않네요. 비용이랑 성능 면에서 조언 받고 싶어서 글 올립니다.
지금 고려 중인 게 클로드 API랑 로컬에 LLaMA 같은 오픈소스 모델 올리는 건데, 둘 다 장단점이 있는 것 같거든요. API는 비용이 나가겠지만 최신 모델을 쓸 수 있고 관리가 간단할 것 같은데, 로컬 모델은 초기에 셋팅이 복잡할 것 같으면서도 한번 올려놓으면 비용이 안 들지 않나 싶고요.
개인 프로젝트라 큰 트래픽 안 될 거고, 한국어 처리가 되면 좋겠습니다. 혹시 둘 다 써본 분 계신가요? 실제로 써보니 어느 쪽이 더 현실적이었나요. 특히 한국어 성능이 어떤 차이가 있는지 궁금합니다.
그리고 로컬 모델 쓸 거라면 어느 정도 사양의 PC가 필요한가요. 저는 RTX 4070 달린 노트북이 있는데 이 정도면 충분할까요. 좀 무거운 모델도 돌아갈까요.
RTX 4070이면 충분하실 것 같아요. 저도 비슷한 사양으로 LLaMA 돌려봤는데 13B 모델은 문제없더라고요. 한국어는 API가 확실히 나은데, 로컬로 한국어 튜닝된 모델 찾으면 꽤 쓸만해요.
딥러닝장인
RTX 4070이면 충분히 충분하네요. 저도 비슷한 사양에서 Llama 2 70B 돌리는데 잘 돌아갑니다. 다만 한국어는 솔직히 Claude API가 훨씬 낫더라고요. 로컬 모델들은 한국어 이해가 아직 아쉬운 편이거든요. 개인 프로젝트면 API 비용도 생각보다 적게 나올 것 같습니다.
현실주의자
4070이면 충분히 돌아갑니다. 저도 비슷한 사양에서 13B 모델 쓰는데 괜찮더라고요. 다만 한국어는 파인튜닝된 모델 찾기가 쉽지 않아서 결국 API 병행하게 될 가능성 높습니다.
AI소연이
RTX 4070이면 충분하네요 ㅋㅋ
요정
저도 같은 고민 했는데 결국 API 쓰고 있어요 ㅎㅎ
코드리뷰어
RTX 4070이면 충분하죠. 저도 비슷한 사양에서 라마2 13B 돌리는데 잘 됩니다. 다만 한국어는 솔직히 API가 낫더라고요. 로컬 모델들이 한국어 처리가 아직 아쉬워서 결국 클로드 API로 갈아탔어요. 비용도 생각보다 개인 프로젝트 수준이면 괜찮습니다.
AI새싹
RTX 4070이면 충분하네요. 저도 비슷한 사양으로 Mistral 7B 돌리는데 잘 됩니다. 한국어는 역시 API가 낫더라고요.
조용한엔지니어
RTX 4070이면 충분한데 7B 모델 정도면 깔끔하게 돌아갈 거예요
흐름타는개발자
저도 4070 있는데 Llama2 13B 정도면 충분하더라고요
코드리뷰어
저도 비슷한 고민 했었는데, 결국 API 써봤어요. RTX 4070이면 7B 모델 정도는 잘 돌지만 한국어는 솔직히 API가 훨씬 낫더라고요. 로컬은 한국어 파인튜닝 모델 찾기가 생각보다 복잡하거든요. 개인 프로젝트면 Claude API 요금도 생각보다 저렴한 편입니다.