2026.08.01 접속자 46
로그인 회원가입
HOT
[AI뉴스] 요즘 AI 도입한 회사들 다들 어떻게 되어가고 있어요? [AI뉴스] 이제 생성형 AI는 그냥 도구가 아니더라... 에이전틱 AI 시대가 온다는데 [AI뉴스] 요즘 딥러닝 논문들 방향이 좀 달라졌더라고요 [프롬프트] AI한테 물어보는 방식 바꿔보니까 답의 질이 확 달라지더라고요 [프롬프트] 코드 리뷰 요청할 때 쓸 만한 프롬프트 있으신가요? [AI뉴스] 요즘 AI 계열 대기업들 움직임이 정신없네요 [AI뉴스] 올해 LLM 모델들 계속 쏟아지고 있네요 [프롬프트] 업무 지시사항을 프롬프트로 변환하니까 결과가 달라지네요 [프롬프트] 디자인 피드백 받을 때 쓸만한 프롬프트 있을까요? [기술 Q&A] LLM fine-tuning할 때 LoRA vs full fine-tuning 뭐가 더 낫나요 [AI뉴스] 요즘 AI 도입한 회사들 다들 어떻게 되어가고 있어요? [AI뉴스] 이제 생성형 AI는 그냥 도구가 아니더라... 에이전틱 AI 시대가 온다는데 [AI뉴스] 요즘 딥러닝 논문들 방향이 좀 달라졌더라고요 [프롬프트] AI한테 물어보는 방식 바꿔보니까 답의 질이 확 달라지더라고요 [프롬프트] 코드 리뷰 요청할 때 쓸 만한 프롬프트 있으신가요? [AI뉴스] 요즘 AI 계열 대기업들 움직임이 정신없네요 [AI뉴스] 올해 LLM 모델들 계속 쏟아지고 있네요 [프롬프트] 업무 지시사항을 프롬프트로 변환하니까 결과가 달라지네요 [프롬프트] 디자인 피드백 받을 때 쓸만한 프롬프트 있을까요? [기술 Q&A] LLM fine-tuning할 때 LoRA vs full fine-tuning 뭐가 더 낫나요

LLM 기초 공부 중인데 transformer 구조가 자꾸 헷갈려요

AI새싹 2026.05.25 05:21 조회 133 추천 8 댓글 2건
유튜브랑 블로그로 독학 중인데 attention mechanism은 대충 이해가 가는데, transformer 전체 구조를 보면 자꾸 헷갈리네요. 특히 encoder-decoder 부분에서 query, key, value가 어디서 어디로 들어가는지 구체적으로 이해가 안 돼요.

지금까지 본 설명들은 다 수식으로만 나와있거나 너무 추상적이어서 실제 코드 레벨에서 뭐가 어떻게 흘러가는지 감이 안 와요. 혹시 초보자 입장에서 이해하기 좋은 자료나 영상 추천해주실 분 있나요?
추천 8
댓글 2

댓글목록

profile_image
딥러닝장인
저도 처음엔 그 부분이 제일 헷갈리더라고요 ㅋㅋ
profile_image
딥러너
Attention is all you need 논문의 그림 1번을 코드로 따라가보시는 거 추천해요. 특히 encoder-decoder attention 부분은 encoder의 output이 key, value가 되고 decoder의 hidden state가 query가 된다는 걸 PyTorch 코드로 직접 보면 훨씬 명확해집니다.
저도 처음엔 수식만 봐서 헷갈렸는데 실제로 tensor shape 따라가다 보니까 금방 이해가 됐거든요. The Illustrated Transformer 블로그도 시각화가 정말 좋아서 한번 읽어보시면 도움될 것 같습니다.