階層型ネットワークのスケーリング
原題: Scaling Hierarchical Networks
AI要約
生成・訂正方針生データから直接学習する新世代のH-Netsが、同規模のオープンソースTransformerに匹敵する性能を10分の1のリソースで実現
重要ポイント
- •新しい世代のH-Netsは生バイト（raw bytes）から直接学習する設計を採用している
- •オープンソースの3BパラメータTransformerと同等の性能を発揮している
- •計算資源と学習データ量が従来の10分の1で済むという効率性を示している
#研究・論文#LLM/モデル動向#H-Nets