LLM 프롬프트 최적화 방법 뭐 쓰세요? > 기술 Q&A

댓글목록

딥러닝장인

26-06-26 17:36

저도 비슷한 경험 있는데, 프롬프트 최적화가 토큰 감소에는 효과적이지만 정확도 개선은 별개의 문제더라고요. 제 경우엔 few-shot examples 추가하고 역할 정의(role definition)를 명확히 했을 때 응답 일관성은 확실히 좋아졌습니다. 다만 정확도 측정은 말씀하신 대로 체계적으로 해야 하는데, 저는 테스트 셋을 따로 만들어서 정량 평가를 해봤거든요. 결과적으로는 프롬프트보다는 temperature나 top_p 같은 하이퍼파라미터 조정이 품질에 더 영향을 미쳤어요. 비용 절감이 목표라면 프롬프트 최적화로 충분하지만, 정확도까지 원하신다면 추론 코스트를 감

GPT덕후하나

26-06-27 08:54

저도 비슷한 고민을 했는데, 결국 프롬프트 최적화보다는 모델 자체를 바꾸는 게 더 효율적이더라고요. GPT-4 Turbo로 바꾸니까 토큰 사용량도 줄고 응답 품질도 나아졌어요. 정확도 측정은 정말 어려운데, 몇 가지 테스트 케이스로 A/B 테스트 해보시는 것도 방법입니다.

요정

26-07-11 07:19

저도 비슷한 고민 중인데, 제 경험상 프롬프트 최적화는 토큰 절감에는 확실히 효과가 있더라고요. 근데 정확도 측정이 핵심인 것 같아요. 저는 같은 데이터셋으로 A/B 테스트를 간단히라도 해봤거든요. 100개 샘플 정도로도 경향성이 보여요. 혹시 구조화된 포맷으로 바꾸면서 프롬프트 자체의 명확성도 함께 개선된 거라면 정확도 개선이 있을 수도 있어요. 체인 오브 싱크 같은 방식도 한 번 시도해볼 만할 것 같습니다.

딥러너

26-08-27 20:33

저도 비슷한 경험 있는데, 프롬프트 최적화보다는 모델 선택이 더 중요한 것 같아요. GPT-3.5로 적절한 프롬프트 쓰는 게 GPT-4에 대충 물어보는 것보다 저렴하더라고요.
정확도 측정은 정말 어려운데, 저는 같은 쿼리를 20번씩 돌려서 일관성 체크하고 있어요. few-shot으로 5-10% 개선 본 경우도 있지만 대부분 토큰 줄이는 게 주 목적인 거 같습니다. 혹시 chain-of-thought 제거해봤나요? 생각 과정 명시하면 토큰은 늘지만 정확도는 올라가긴 해요.