Continuous Diffusion Language Models (CDLM's)
従来の離散トークン生成とは異なり、連続空間で動作する拡散言語モデルの概念と可能性を探る技術記事。
Key points
- •言語モデルを離散のトークン列ではなく、連続的なベクトル空間として扱うアプローチを紹介している
- •拡散モデルの枠組みを自然言語処理に応用することで、生成プロセスに新たな柔軟性をもたらす可能性がある
- •従来のTransformerアーキテクチャとは異なる、連続値に基づく言語生成のメカニズムを解説している