writing
【論文読み】Attention Is All You Needを読む — Transformerの原点をゆるく理解する
Transformerの原点になった論文 Attention Is All You Need を、勉強も兼ねて読んでいきます。Self-Attention、Query/Key/Value、Multi-Head Attention、Positional Encodingなどを、数式にも少し触れながら、最近のLLMアーキテクチャにつながる前段として整理します。
AI 機械学習 LLM Transformer
