Stay discoverable in search while disallowing AI training
AI summary
Editorial policyCloudflareが、検索エンジンでのインデックス登録は許可しつつ、大規模言語モデル（LLM）の訓練データを収集するAIクローラーを特定して遮断する技術的ソリューションを提案した
Key points
- •User-Agentやリクエストヘッダーの分析により、通常の検索クローラーとAI学習用のクローラーを区別する識別手法を紹介している
- •Webサイト管理者が自社のコンテンツをAIモデルの学習に使用されることを防ぎつつ、SEOによるトラフィック獲得を継続できる仕組みを解説する
- •AI時代におけるコンテンツの知的財産保護と、検索エコシステムとの両立を可能にするCloudflareの新しい機能や設定方法が示されている