저는 코드 리뷰할 때 큰 차이를 느꼈어요. 8K일 때는 파일 여러 개 나눠서 던져야 했는데 200K면 전체 맥락을 한 번에 줄 수 있어서 일관성 있는 피드백이 나오더라고요. 근데 비용이 크게 올라가진 않아서 충분히 가치 있다고 봅니다.
프롬프트
요즘 LLM들 컨텍스트 윈도우 늘어나는데 실제로 체감되나요?
요즘 클로드도 200K, GPT-4도 128K까지 늘었던데 실무에서 이게 얼마나 체감되시는지 궁금하네요. 저는 지금까지 GPT-4 8K 썼는데 큰 문제는 없었거든요.
긴 파일 한 번에 던지는 게 편하긴 한데, 정말 성능이 좋아지는 건지 아니면 그냥 편의성 때문인지 구분이 안 돼요. 특히 추론 정확도가 늘어나는 건지도 잘 모르겠고요.
혹시 컨텍스트를 제대로 활용하고 계신 분 있으면 어떻게 쓰시는지 알려주실래요? 토큰 비용 대비 가치가 있는지도 궁금합니다.
긴 파일 한 번에 던지는 게 편하긴 한데, 정말 성능이 좋아지는 건지 아니면 그냥 편의성 때문인지 구분이 안 돼요. 특히 추론 정확도가 늘어나는 건지도 잘 모르겠고요.
혹시 컨텍스트를 제대로 활용하고 계신 분 있으면 어떻게 쓰시는지 알려주실래요? 토큰 비용 대비 가치가 있는지도 궁금합니다.
추천 6 비추천 0
- 이전글LLM 파인튜닝할 때 토큰 길이 제한 어떻게 처리하세요?26.07.10
- 다음글최근 오픈소스 LLM들 양자화 후 성능 비교해본 분 있나요?26.07.08