LLMの推論速度を向上させるための新しい並列処理技術DFlash 2について、ドラフトモデルとの同期を改善し遅延を削減する仕組みを解説
- •既存のSpeculative Decoding手法におけるボトルネックとなる同期オーバーヘッドを解消するアルゴリズムを提案
- •複数のドラフトトークンを並列に検証することで、生成速度を大幅に向上させることが可能
- •ハードウェアの制約を受けずにソフトウェアレベルで推論パフォーマンスを最適化できるアプローチ
AI-summarized articles on the latest large language model (LLM) releases, benchmarks and model comparisons.
Products, companies and technologies most covered in this category's articles.
LLMの推論速度を向上させるための新しい並列処理技術DFlash 2について、ドラフトモデルとの同期を改善し遅延を削減する仕組みを解説
UnslothがDynamic 3.0 GGUF形式を発表し、大規模言語モデルのローカル推論におけるメモリ効率と処理速度を大幅に向上させる最適化技術を提供している
大規模言語モデル(LLM)の台頭により、従来のソフトウェアの拡張性やモジュール設計がどのように変化し、新しいアーキテクチャが必要になっているかを議論している
Modular社がPython互換の高性能言語「Mojo」をオープンソース化し、コンパイラやツールチェーン、Windows版の開発計画を公開した。
Ornith-1.5というAIモデルが、外部依存の自己足場構築から自律的な自己改善能力への進化を示す技術的詳細を公開した
Qualcomm傘下のModularが開発したプログラミング言語Mojoがオープンソース化され、AI開発の効率化が期待されている
LLMCが332億パラメータの日本語LLM「LLM-jp-4 33B」を公開。ベースモデルと思考機能を備えたモデルの2種類を提供し、日本語処理性能を向上
国立情報学研究所が国産オープンLLM「LLM-jp-4 33B」を公開し、332億パラメータのDense型モデルとして4種類のベンチマークで従来モデルを上回る性能を示した。
NTTが開発する国産LLM「tsuzumi 2」は、大規模さよりも小型化と日本語処理の最適化、データ主権の確保を重視。企業実務への現実的な導入を目指している。
LLMによる脆弱性発見の急増でBINDの開発が圧迫され、メンテナンス体制の変更や月次アップデートへの移行が議論されている