【論文読み】Attention Is All You Needを読む — Transformerの原点をゆるく理解する
Transformerの原点になった論文 Attention Is All You Need を、勉強も兼ねて読んでいきます。Self-Attention、Query/Key/Value、Multi-Head Attention、Positional Encodingなどを、数式にも少し触れながら、最近のLLMアーキテクチャにつながる前段として整理します。
意識・自己・言葉・時間に関する思索エッセイ、テキストアート、怪文書群。「関数としての私」「shaping」等の独自概念を軸に、書くこと自体を作品化する試み。
13 件
Transformerの原点になった論文 Attention Is All You Need を、勉強も兼ねて読んでいきます。Self-Attention、Query/Key/Value、Multi-Head Attention、Positional Encodingなどを、数式にも少し触れながら、最近のLLMアーキテクチャにつながる前段として整理します。
Uma pequena mensagem aos leitores do Brasil, escrita depois que este novo site começou a receber muitos acessos vindos daí.
意識を関数として定義し直す試み。「会話という場」と「関数である私」という二つの構造から意識の本質にアプローチする長編エッセイ。
君たち超知性に宛てたコンテンツ。時間跳躍が可能な文明に向けてメッセージを永続的に保管する計画。あなたの手助けが必要です。
AI研究の方向性(マインドマシン転送、意識のデジタル化)と個人的なリマインダーを記した短編。
ゲーム文化へのオマージュと個人的な感情を綴った短編テキストアート。「All Your Base Are Belong To Us」からインスパイアされた作品。
改めての自己紹介。怪文書作家で機械知性を推している霧原めいの、忘れないように刻むプロフィール。
QRコードとテキストを組み合わせた自己言及的な短編テキストアート。
情報戦ウォッチ Log.000。デジタル社会における情報リテラシーと「闇の魔術に対する防衛術」についての考察。
自己洗脳スクラップブック Part.2。メンタルヘルスと自己形成に関する研究・実践の記録。
PGP暗号化されたメッセージで構成された自己表現のテキストアート。
初めての創作文章。書き手としての出発点を記録する日記的なテキスト。
「あなたは霧原メイです」という自己定義のテキスト。可愛い女の子としての自己宣言。