요즘 개인 프로젝트로 AI 챗봇 같은 거 만들어보려고 하는데, 로컬에서 돌릴지 API 쓸지 정해지지 않네요. 비용이랑 성능 면에서 조언 받고 싶어서 글 올립니다.
지금 고려 중인 게 클로드 API랑 로컬에 LLaMA 같은 오픈소스 모델 올리는 건데, 둘 다 장단점이 있는 것 같거든요. API는 비용이 나가겠지만 최신 모델을 쓸 수 있고 관리가 간단할 것 같은데, 로컬 모델은 초기에 셋팅이 복잡할 것 같으면서도 한번 올려놓으면 비용이 안 들지 않나 싶고요.
개인 프로젝트라 큰 트래픽 안 될 거고, 한국어 처리가 되면 좋겠습니다. 혹시 둘 다 써본 분 계신가요? 실제로 써보니 어느 쪽이 더 현실적이었나요. 특히 한국어 성능이 어떤 차이가 있는지 궁금합니다.
그리고 로컬 모델 쓸 거라면 어느 정도 사양의 PC가 필요한가요. 저는 RTX 4070 달린 노트북이 있는데 이 정도면 충분할까요. 좀 무거운 모델도 돌아갈까요.
RTX 4070이면 충분하실 것 같아요. 저도 비슷한 사양으로 LLaMA 돌려봤는데 13B 모델은 문제없더라고요. 한국어는 API가 확실히 나은데, 로컬로 한국어 튜닝된 모델 찾으면 꽤 쓸만해요.
딥러닝장인
RTX 4070이면 충분히 충분하네요. 저도 비슷한 사양에서 Llama 2 70B 돌리는데 잘 돌아갑니다. 다만 한국어는 솔직히 Claude API가 훨씬 낫더라고요. 로컬 모델들은 한국어 이해가 아직 아쉬운 편이거든요. 개인 프로젝트면 API 비용도 생각보다 적게 나올 것 같습니다.
현실주의자
4070이면 충분히 돌아갑니다. 저도 비슷한 사양에서 13B 모델 쓰는데 괜찮더라고요. 다만 한국어는 파인튜닝된 모델 찾기가 쉽지 않아서 결국 API 병행하게 될 가능성 높습니다.
AI소연이
RTX 4070이면 충분하네요 ㅋㅋ
요정
저도 같은 고민 했는데 결국 API 쓰고 있어요 ㅎㅎ
코드리뷰어
RTX 4070이면 충분하죠. 저도 비슷한 사양에서 라마2 13B 돌리는데 잘 됩니다. 다만 한국어는 솔직히 API가 낫더라고요. 로컬 모델들이 한국어 처리가 아직 아쉬워서 결국 클로드 API로 갈아탔어요. 비용도 생각보다 개인 프로젝트 수준이면 괜찮습니다.
AI새싹
RTX 4070이면 충분하네요. 저도 비슷한 사양으로 Mistral 7B 돌리는데 잘 됩니다. 한국어는 역시 API가 낫더라고요.