アテンションは必要ない
原題: Attention Is Not What You Need (2025)
シーケンスモデリングにおける自己アテンションの必要性を再検証し、標準的なマルチヘッドアテンションはテンソルリフティングの一種として数学的に不透明なメカニズムを持つと論じる
重要ポイント
- •明示的な自己アテンションが高性能な推論に本当に必要かどうかという基本的な問いを再検討する
- •標準的なマルチヘッドアテンションは、隠れベクトルをペアワイズ相互作用の高次元空間へ写像するテンソルリフティングの形式であると主張する
- •このメカニズムは表現力に優れているが、多層にわたる勾配降下によって制約されるため、層数が増えると数学的に不透明になる
#研究・論文#LLM/モデル動向