Show HN: 約25行のSQLからFlashAttentionカーネルを自動導出
原題: Show HN: Automatic deduction of FlashAttention kernel from ~25 lines of SQL
AI要約
生成・訂正方針バニラアテンションを表現する約25行のSQLからFlashAttentionカーネルを自動導出するデモで、xarray-sql、ddx、einfoldという3つのポータブルなSQL拡張機能を活用している
重要ポイント
- •ペタバイト規模の配列データをクラウド上でテーブルとして効率的に表現するxarray-sqlライブラリを使用している
- •JAXスタイルの自動微分を標準SQLに追加するデータベース拡張機能ddxを前提としている
- •高速なクエリ処理を行うモジュール型クエリプランナeinfoldを組み合わせて実現されている
#LLM/モデル動向#研究・論文#FlashAttention#xarray-sql#ddx