グーグルのAIに自社コンテンツを学習させたくない！ Bardをブロックするrobots.txt指定【SEO情報まとめ】

illustration by つきのあめだま

「ChatGPTにもBardにも、生成AIの学習にウチのコンテンツを使わせない！」そんなあなたに朗報。GPTBotに加えて、グーグルのAIによる学習を防ぐ方法が公開された。

ChatGPTとBard（とVertex AI）による学習をまとめて禁止するrobots.txtの指定も紹介する。

ピックアップ意外にも、今回も良ネタが多数。

9月のヘルプフル コンテンツ アップデートの特徴「広告UX」と「実経験」、10月のコア アップデートとスパムアップデートなど、グーグル情報が3件。

さらに検索結果でのサイト名表示、Googleビジネスプロフィールの新機能などなど、グーグル最新事情から、SEO以外にも役立つ情報まで、今週もあなたに役立つネタを吸収していただきたい。

• グーグルのAIに自社サイトのコンテンツを学習させたくない！ Bardをブロックするrobots.txt指定
• 2023年9月のヘルプフル コンテンツ アップデートの特徴：広告UXと実世界の経験が重要な要因
• Googleがまたもやコア アップデートを実施。前回からわずか1か月後
• 10月のスパムアップデートは、クローキング・ハッキング・自動生成・スクレイピングの対策を強化
• 2023年9月のGoogle検索オフィスアワー： site演算子の利用、サイトメンテ時のステータスコード、SGEのパフォーマンス分析など
• 検索結果でのサイト名表示を修正する方法
• 知らないと痛い目に遭う！? robots.txtとnoindexの併用は意味なし
• GBPでソーシャルメディアのリンクを管理できるようになった
• 生成AIとは？ BardやChatGPTなどのAIチャットはどのような仕組みで動くのか？
• 既存コンテンツを再活用するリパーパスとは？
• Google Discoverのトラフィックが変化する理由から読み解くDiscover最適化
• Bingチャットからのトラフィックをウェブマスターツールがレポートするように

今週のピックアップ

グーグルのAIに自社サイトのコンテンツを学習させたくない！ Bardをブロックするrobots.txt指定
Google-Extendedをrobots.txtでブロック （Google Search Central） 海外情報

自分が管理するサイトをBardなどグーグルのAIで学習対象としないように指定できる（と思われる）ユーザーエージェント名を、グーグルが公開した。Google-Extendedというユーザーエージェント名だ（対象はBardとVertex AIのGenerative API）。

BardやVertex AI generative APIにサイトを利用されたくなければ、robots.txtでGoogle-Extendedを拒否（disallow）指定すると、サイトのコンテンツを学習データとして利用されないようにできると思われる^※。

サイト全体のコンテンツ利用を拒否するなら次のように記述する：

Use-Agent: Google-Extended
Disallow: /

グーグルではなChatGPTに自社コンテンツを学習させたくない場合は、GPTBotをrobots.txtでブロックすればよかった。

グーグルとChatGPTの両方をブロックするには、robots.txtで次のようにする：

User-agent: GPTBot
Disallow: /

Use-Agent: Google-Extended
Disallow: /

ニューヨークタイムズやアマゾンなど多くのメジャーサイトがすでにGPTBotをブロックしていた。筆者が調べた限りでは、GPTBotをブロックしていても、Google-Extendedはブロックしていないサイトが今のところは大多数だった。ニューヨークタイムズやワシントンポスト、アマゾンはブロックしていなかった。

しかし、ベンチャービートとスタック・オーバーフローはGPTBotに加えてGoogle-Extendedもブロックしていた。

GPTBotとGoogle-Extendedをブロックするサイトは今後増えていくのかもしれない。

グーグル検索SEO情報①

2023年9月のヘルプフル コンテンツ アップデートの特徴：広告UXと実世界の経験が重要な要因
2人のSEOプロによる分析結果 （GSQi & Marie Heynes） 海外情報

2023年9月のヘルプフル コンテンツ アップデートをグーグルが実施したことを、前回お伝えした。すでに展開を完了している。

検索アップデート分析に定評があるグレン・ゲイブ氏とマリー・ヘインズ氏による、今回のアップデートに対する見解を紹介する。

ゲイブ氏の見解「大きな影響、広告でUXが悪いサイトにも影響」

今回のアップデートの特徴：

• さまざまなカテゴリや分野で役に立たないコンテンツを対象とした過去3回のなかでは最も大きな影響を与えたアップデート。多くのサイトがランキングとトラフィックの大幅な減少を経験した。

• 質の低いコンテンツに加えて、広告によるひどいUXを持つサイトが影響を受けている。ユーザーをイライラさせたり気を散らせたりすることなく、広告とコンテンツのバランスを取る必要性がある。

リカバリ方法：

• ユーザーを助ける高品質かつ洞察に満ちたコンテンツを提供することに集中する
• 広告やポップアップ、自動再生ビデオなどでユーザーを圧倒することを避ける
• ユーザー調査の実施と、広告のUXに関するGoogleのweb.devの記事を確認する

ヘインズ氏の見解「経験も権威性もないサイトは順位低下」

今回のアップデートの特徴：

• 大規模なアップデートで、実世界での経験が不足しているコンテンツや、テーマに関する権威だとみなされないコンテンツが、ランキング下降の対象になった

• SEO手法、過剰あるいは不要なコンテンツ、健康に関する適切な根拠のない主張、他のサイトでの製品レビューなどを掲載するサイトが影響を受ける可能性が高い

• ユーザー生成コンテンツや実際の体験談、本人の経験を扱うサイトは評価される可能性が高い

リカバリ方法：

• ウェブやユーザーに価値をほとんど提供しない「有益でないコンテンツ」を削除または修正する
• 情熱・魅力・有益性を持ち、そのトピックの専門家だと知られるようになる
• フォーラム（掲示板）やYouTubeショート、その他の方法を利用して、経験と独創性をアピールする

ゲイブ氏とヘインズ氏は、それぞれのブログで非常に詳しい分析結果を共有している。興味があれば、原文も参照してほしい：

• ゲイブ氏のブログ記事
• ヘインズ氏のブログ記事

どちらも、今回のヘルプフル コンテンツ アップデートで影響を受けていないとしても、サイト改善の役にたつ見解だ。

Googleがまたもやコア アップデートを実施。前回からわずか1か月後
コメント （Google Search Central on X） 海外情報

2023年10月のコアアップデートを、グーグルが10月5日（太平洋時間）に実施した。2023年8月のコアアップデートは9月7日に展開を完了したのだが、わずか1か月後に次のコア アップデートが始まった。

大きなアップデートをグーグルが短期間に実施するケースは稀だ。間隔が狭い理由は定かではない。前回のコア アップデートが想定どおりに機能しなかったのだろうか？

前回のコアアップデートはE-E-A-Tの「Experience」を高く評価するようにではないかという分析があった。今回のコア アップデートについて特筆すべき傾向の情報が入れば、このコーナーで共有する。

展開完了までには2週間程度かかる見込みだ。状況は検索ステータスダッシュボードで確認できる。

10月のスパムアップデートは、クローキング・ハッキング・自動生成・スクレイピングの対策を強化
全言語対象だが、一部の言語に大きなインパクトあり （グーグル 検索セントラルブログ） 国内情報

グーグルは、2023年10月のスパムアップデートの展開を10月4日（太平洋時間）に開始した。前回のスパムアップデートが2022年10月だったのでちょうど1年が経過している。

すべての言語が対象だが、特に、次の言語で大きな影響を与えるだろうとのことだ（スパムサイトが検索結果に出なくなる）：

• トルコ語
• ベトナム語
• インドネシア語
• ヒンドゥー語
• 中国語

また、次の種類のスパムへの対策が強化されている：

• クローキング
• ハッキング
• 自動生成
• スクレイピング

スパム行為を働いていなければ恐れることはない。逆に、恩恵をこうむるだけだ。

2023年9月のGoogle検索オフィスアワー： site演算子の利用、サイトメンテ時のステータスコード、SGEのパフォーマンス分析など
上級者からの質問あり （Google 検索オフィスアワー on YouTube） 国内情報

2023年9月のGoogle検索オフィスアワーをあんな氏がYouTubeに公開した。あんな氏が回答した質問は次の10個だ。

• site: 演算子の利用（5:16）
• Search Console と検索結果の乖離（6:59）
• サイトメンテナンス時のステータスコード（9:17）
• SGE 内リンクのパフォーマンス分析（11:02）
• 意図しないサイト名が表示される（12:54）
• インデックスのステータス「保留」が続く（15:20）
• ページ上の小さな YouTube 埋め込み動画（17:29）
• 日本語キーワードハックへの対応（19:26）
• 日本語検索での ruby 要素関連の扱い（22:02）
• フィッシング被害と検索順位（23:00）

今回は上級者からの質問にも回答している。タイムラインは再生箇所にリンクしてあるので、気になった質問の回答だけでも確認しておきたい。

グーグル検索に関して疑問があれば、こちらのフォームから送っておこう。次回以降のオフィスアワーであんな氏が回答してくれる。