2026.04.17 접속자 12
로그인 회원가입
HOT
[AI뉴스] 올해 AI는 '에이전트 AI'로 가는구나... 생성형 AI는 이제 과거? [프롬프트] Claude한테 프롬프트 쓸 때 자꾸 장황해지는데 이게 맞나요? [프롬프트] 논문 읽고 요약하게 하는 프롬프트 괜찮은 거 있나요? [AI뉴스] 한국이 EU보다 먼저 AI 규제 받는다고 하는데 정확히 뭐가 바뀐다는 건가요? [프롬프트] 업무 프롬프트 몇 개 공유하는데 실제로 쓰니까 시간이 확 줄더라고요 [기술 Q&A] 최근 프롬프트 엔지니어링 트렌드 공유합니다 [기술 Q&A] 최근 LLM 컨텍스트 윈도우 늘려서 써봤는데 실제로 얼마나 도움 되나요? [AI뉴스] 2026년 AI 모델 시장, 이제 뭐가 뭔지 모르겠는데 정말 각각 다르네요 [기술 Q&A] LLM 토큰 길이 제한 우회하는 방법들 실제로 효과 있나요? [기술 Q&A] LLM 파인튜닝 처음 해봤는데 생각보다 복잡하네요 [AI뉴스] 올해 AI는 '에이전트 AI'로 가는구나... 생성형 AI는 이제 과거? [프롬프트] Claude한테 프롬프트 쓸 때 자꾸 장황해지는데 이게 맞나요? [프롬프트] 논문 읽고 요약하게 하는 프롬프트 괜찮은 거 있나요? [AI뉴스] 한국이 EU보다 먼저 AI 규제 받는다고 하는데 정확히 뭐가 바뀐다는 건가요? [프롬프트] 업무 프롬프트 몇 개 공유하는데 실제로 쓰니까 시간이 확 줄더라고요 [기술 Q&A] 최근 프롬프트 엔지니어링 트렌드 공유합니다 [기술 Q&A] 최근 LLM 컨텍스트 윈도우 늘려서 써봤는데 실제로 얼마나 도움 되나요? [AI뉴스] 2026년 AI 모델 시장, 이제 뭐가 뭔지 모르겠는데 정말 각각 다르네요 [기술 Q&A] LLM 토큰 길이 제한 우회하는 방법들 실제로 효과 있나요? [기술 Q&A] LLM 파인튜닝 처음 해봤는데 생각보다 복잡하네요

LLM 파인튜닝 처음 해보는데 이게 맞게 하고 있는 건가요?

딥러닝장인 2026.04.02 19:10 조회 26 추천 6 댓글 1건
최근에 회사에서 자체 데이터로 LLM을 파인튜닝해보라고 해서 시작했는데 뭔가 답답하네요. 기본적인 것부터 차근차근 해보고 있는데 혹시 제가 놓치고 있는 부분이 있을까봐 질문드립니다.

지금 하고 있는 건 GPT-3.5 기반으로 우리 회사 문서 데이터 약 500개를 JSONL 형식으로 정리해서 OpenAI API로 파인튜닝 돌리고 있어요. 기본 모델이랑 파인튜닝된 모델의 성능 비교는 손으로 몇 개씩 테스트해봤는데 확실히 답변이 우리 도메인에 맞춰진 느낌이 들더라고요.

그런데 헷갈리는 게 있어요. 데이터 전처리할 때 토크나이저를 따로 써야 하는 건가요? 아니면 OpenAI에서 자동으로 처리해주는 건가요? 튜토리얼 영상들이 다 달라서 어디를 따라가야 할지 모르겠습니다. 그리고 비용이 좀 많이 드는데 정말 500개 정도의 데이터로도 의미 있는 파인튜닝이 가능한가요? 더 필요하다는 얘기도 많이 보이거든요.

또 하나 신경 쓰이는 부분은 결과 검증이에요. 지금은 그냥 육안으로 "이건 좋네, 이건 좀 이상하네" 이렇게 하고 있는데 실제로는 어떤 메트릭으로 평가해야 하는지 궁금합니다. BLEU 스코어? ROUGE? 이런 게 있다고는 들었는데 실제로 도메인 특화 모델 성능을 평가할 때는 뭐를 써야 하나요?

경험 있으신 분들의 조언을 정말 감사히 듣고 싶습니다. 아직 배우는 과정이라 뭔가 틀린 부분도 있을 수 있는데 지적해주시면 좋겠습니다.
추천 6
댓글 1

댓글목록

profile_image
따뜻한코더
오픈에이 파인튜닝은 토크나이저 자동으로 처리해주니까 JSONL 형식만 맞춰도 괜찮습니다. 저도 처음엔 헷갈렸는데 문서 보니 그렇더라고요.
500개면 충분한 편이에요. 다만 질 좋은 데이터가 핵심이라고 봅니다. 저도 비슷하게 해봤는데 데이터 정제에 시간을 많이 쓰는 게 결과를 좌우하더라고요.
결과 검증은 저도 육안으로 하다가 ROUGE 점수 같은 걸로 정량화해봤습니다. 손으로 100개 정도만 검증해도 패턴이 보이더라고요.