robots.txtの記事一覧
OpenAI、2023年8月にAI トレーニング用にGPTBot を発表。あなたはrobots.txtをどうする?