LLM 처음 배우면서 헷갈렸던 것들 정리해봤어요

최근에 LLM 공부를 시작했는데 처음에 정말 많이 헷갈렸거든요. 특히 파인튜닝, 프롬프트 엔지니어링, RAG 이런 개념들이 다 비슷해 보여서 한동안 헷갈렸어요. 그래서 실제로 프로젝트 몇 개 해보면서 깨달은 걸 공유하고 싶었습니다.

처음엔 프롬프트 엔지니어링이 뭔가 대단한 기술인 줄 알았는데, 사실은 모델한테 어떻게 잘 물어보는지 하는 거더라고요. 예를 들어 같은 질문이라도 "한국 역사에 대해 설명해줘"라고 하는 것보다 "한국 고대사의 삼국시대에 대해 체계적으로 설명해줘"라고 하면 훨씬 나은 답변을 받을 수 있다는 거죠. 이게 생각보다 효과가 크더라고요.

그 다음에 배운 게 RAG인데, 이건 모델이 모르는 최신 정보나 회사 특정 데이터를 줄 때 쓴다고 이해했어요. 예를 들어 내가 만든 챗봇이 우리 회사 제품 정보를 정확히 알아야 하면, 그 정보를 벡터 데이터베이스에 저장했다가 사용자 질문이 들어올 때 검색해서 모델한테 던져주는 방식이더라고요. 파인튜닝보다 훨씬 간단하고 비용도 적게 들어서 실무에선 이게 더 자주 쓰인다고 했어요.

파인튜닝은 모델 자체를 학습시키는 거라 비용도 많이 들고 시간도 오래 걸리는데, 정말 특정 스타일이나 도메인에 모델을 특화시켜야 할 때만 쓴다고 배웠습니다. 근데 요즘엔 파인튜닝 비용이 많이 내려가서 예전보다는 진입장벽이 낮아졌어요.

지금도 공부하면서 새로운 개념들이 자꾸 나와서 좀 답답할 때도 있지만, 작은 프로젝트부터 직접 만들어보니까 훨씬 이해가 빨라지는 것 같아요. 혹시 비슷하게 헷갈리시는 분들 있으시면 이 정도 이해만 해도 기본은 충분할 거라고 생각합니다.