#Attention

【論文読み】Attention Is All You Needを読む — Transformerの原点をゆるく理解する

Transformerの原点になった論文 Attention Is All You Need を、勉強も兼ねて読んでいきます。Self-Attention、Query/Key/Value、Multi-Head Attention、Positional Encodingなどを、数式にも少し触れながら、最近のLLMアーキテクチャにつながる前段として整理します。