AIモデルの評価において、既存のベンチマークが実際の能力を正確に反映しておらず、過剰適合やデータ漏洩の問題が指摘されている
- •現在のLLMベンチマークは、モデルがトレーニングデータに過剰適合している可能性を示唆している
- •単なるパターン認識ではなく、真の推論能力を測る新しい評価基準の必要性が議論されている
- •開発者はベンチマークスコアだけでなく、実際のユースケースでのパフォーマンスを重視すべきと指摘する
AI-summarized trends in the latest papers and cutting-edge research on generative AI and machine learning.
Products, companies and technologies most covered in this category's articles.
AIモデルの評価において、既存のベンチマークが実際の能力を正確に反映しておらず、過剰適合やデータ漏洩の問題が指摘されている
Google Research published a study on transfer learning to improve genomic prediction in underrepresented populations.
OpenAIのAstraモデルが採用するリカレントアーキテクチャについて、その安全性や予測可能性への懸念がLessWrongなどで技術的に議論されている。
Google Research reported a milestone in connectomics involving the complete mapping of the male fruit fly brain.
天文学者が土星の大気中で不自然なほど幾何学的な10角形の構造を発見した。この発見は惑星大気の気象パターンや流体力学に関する理解を深める新たな手がかりを提供する可能性がある
Balroggは、VorbisやOpusファイルのロスレス再圧縮により、最大15%のファイルサイズ削減を実現するツールである。
アイルランドの3人の少女が疣だらけの豆の苗を見つけ、その中の細菌が大麦の生育を促進させることを3年かけて検証した科学プロジェクトの成果を紹介する記事である。
囲碁のトッププロである申真諝九段が、2子のハンデを付けてAIプログラムKataGoと対戦し勝利を収めた。これは人間が特定の条件下で依然としてAIに対して優位性を示しうることを示す事例として注目されている
ロボティクス開発がなぜそれほど困難なのか、物理世界の不確実性やモーションプランニングの複雑さなど、14の具体的な技術的・物理的障壁を解説している
KDDIが6G向け7GHz帯の屋外実証実験を実施。サムスン電子と協力し、世界最高水準の下り3.6Gbpsという高速通信速度を達成。