최근에 Claude랑 GPT-4 써보면서 같은 질문이어도 프롬프트를 어떻게 쓰냐에 따라 결과가 확 달라지는 거 느꼈거든요. 그래서 궁금한데 이게 진짜 프롬프트 엔지니어링의 효과인지 아니면 모델의 운(?)인지 판단이 안 서요.
특히 JSON 형식으로 답변받거나 Step-by-step으로 풀어달라고 할 때 정확도가 올라가는 것 같긴 한데, 이게 일관성 있는 개선인지 애매합니다. 혹시 이 부분에 대해 제대로 실험해보신 분 계신가요? 실제 업무나 프로젝트에서 어떤 식으로 프롬프트를 구성해서 효과 봤는지 궁금합니다.
저도 비슷한 의문 가졌는데, 실제로 프롬프트 구조는 분명 효과가 있더라고요. Chain of Thought 방식으로 단계별 설명 요청하면 논리적 오류가 줄어드는 게 눈에 띄어요. 다만 같은 프롬프트를 반복하면 가끔 다른 답이 나올 때도 있으니 일관성이 완벽한 건 아닌 것 같습니다. temperature 값도 영향을 미치니까 그것도 함께 봐야 할 것 같습니다.