요즘 GPT-4o, Claude 3.5, Gemini 2.0 성능 테스트를 개인 프로젝트에서 자주 하는데, 벤치마크 스코어랑 실제 사용해본 느낌이 좀 다르더라고요. 특히 한국어 처리 관련해서요.
구글에서 공식 발표한 Gemini 2.0의 성능 수치는 정말 좋은데, 실제로 한국 정치/사회 관련 복잡한 질문을 던져보면 의외로 Claude가 더 정확한 답을 주는 느낌이 들어요. 벤치마크가 영어 기반 데이터셋에서 나온 건 맞지만, 그래도 이 정도 차이가 날까 싶어서요.
최근에 로컬 LLM(Mistral, Llama)도 손봐봤는데, 파라미터 수 대비 성능이 실제로는 더 나은 경우도 있고, 오히려 떨어지는 경우도 있고 일관성이 없더라고요. 같은 질문을 다시 물어봐도 답변 품질이 들쭉날쭉해요. 당연히 온도 조정으로 어느 정도는 조절 가능하지만, 그 정도 일관성 차이는 설명이 안 되는 부분도 있어요.
혹시 벤치마크 스코어를 신뢰하면서도 실무에서는 직접 테스트해봐야 한다는 뜻일까요? 아니면 제가 테스트 방식을 잘못하고 있는 걸까요? 비슷한 경험하신 분 계신가요?