llms.txtは検索順位に効く?設置の本当の目的と手順
「llms.txt を置けば、生成AIの時代に検索で有利になるらしい」——そんな話を聞いて、自社サイトにも急いで設置すべきか迷っていないでしょうか。この記事は、自社サイトを自分で直すエンジニアやサイト担当者に向けて、llms.txt(サイトの要点を AI 向けにまとめたテキストファイルとされるもの)と Google 検索の関係を、公式ドキュメントの言葉で整理するものです。
先に結論を書きます。Google 検索で上位を取るために llms.txt を作る必要はありません。あとで一次情報で確かめますが、公式ガイドは llms.txt を「無視してよい手法」の例に名指しで挙げています。つまり「Google での順位を上げるために llms.txt を置く」という動機は、公式の説明とかみ合っていません。とはいえ llms.txt が完全に無意味というわけでもなく、Google 検索とは別の文脈で意味を持ちうるものです。この記事では、なぜ Google 検索のために作る必要がないのかを公式ドキュメントで確かめ、そのうえで「では何のために・どう置くのか」を、robots.txt での AI クローラー制御とあわせて手順に落とします。
Google 検索は llms.txt をどう扱うか
まず一次情報を確認します。Google 検索セントラルの「AI 最適化に関するサイト所有者向けガイド」は、効果的な SEO を優先すべきだとしたうえで、Google 検索については「コンテンツを細切れにする(chunking)」「llms.txt のような不要な AI 用テキストファイルを作成する」「不自然な言及を追い求める」といった手法は無視してよい、と明記しています。llms.txt が名指しで「無視してよい手法」の例に挙がっている、という点が重要です。
裏返せば、Google 検索のために llms.txt のような機械可読ファイルを新しく用意する必要はない、ということです。同じガイドは、成果を測る先として Search Console の「生成 AI パフォーマンス レポート(Generative AI performance report)」を使い、自社コンテンツの見え方を確認することを勧めています。設置ファイルを増やすより、まず既存の計測面で現状を見よ、という順番です。
ここで注意したいのは、公式ガイドが述べているのは「Google 検索のために作る必要はない」という点までで、置いた場合に何が起きるかまでは触れていない、ということです。したがってこの記事も、置くと順位が上がる/下がるといった効果を主張するものではありません。あくまで「そもそも Google の順位を狙って作る動機が成り立つか」という観点で読んでください。
それでも llms.txt に意味がある場面
では llms.txt はまったく置く価値がないのかというと、そうとも限りません。ここからは公式の断定ではなく、Google 検索の外側での位置づけ(筆者の整理)として読んでください。
llms.txt は、Google 以外の外部の生成AIや対話型AIが、サイトの構成や要点を読み取りやすくするための「AI 向けの案内図」として機能しうるものです。人間向けのページ本文とは別に、サイトの主要セクションや提供価値を要約して置いておくことで、AI がサイト情報を要約・引用する際の精度を助ける、という狙いです。生成AIによる検索や回答(いわゆる AEO=AI 経由での見つけられやすさ)を意識するなら、Google 検索の順位とは切り離した「別チャネルへの情報提供」として検討する余地があります。
つまり llms.txt を置くかどうかは、「Google の順位が上がるか」ではなく「Google 以外の AI に正しく理解されたいか」で判断するのが筋の通った考え方です。この目的なら置く価値がありますし、そうでないなら急いで用意する必要はありません。目的をここで一つに絞っておくと、次の設定作業で迷いません。
Google-Extended:AI 学習の可否と検索は別物
llms.txt とあわせてよく話題になるのが、robots.txt に書く「Google-Extended」です。これは AI 向けのデータ利用を制御する仕組みで、llms.txt が「情報を差し出す」側なら、Google-Extended は「学習に使わせない」側の設定にあたります。両者はセットで語られがちなので、ここで公式の説明を押さえておきます。
Google 検索セントラルの「一般的なクローラーとユーザー エージェント」によれば、Google-Extended は独立したクローラーではなく、robots.txt の中で使う制御用のトークン(ユーザーエージェント名)です。robots.txt に user-agent: Google-Extended のグループを書き、disallow などで指定します。その役割は、ユーザーがリクエストを送った際に、Gemini アプリや Vertex AI 上の「Google 検索によるグラウンディング(回答の裏づけ)」などで、生成AIモデルの改善にデータを使ってよいかを伝えることにあります。
そして最も大事な一次情報がこれです。同ドキュメントは、Google-Extended は特定のサイトが Google 検索の結果に表示されることに影響せず、ランキングの指標としても使われない、と明記しています。したがって「AI 学習には使わせたくないが、検索順位が下がるのが怖い」という不安は、公式の説明の上では切り分けて考えられます。学習可否の設定と検索での評価は、別物として扱われているからです。この論点をさらに詳しく詰めたい場合は、AIへの提供だけ止めSEOは守る|Google-Extended設定 を参照してください。
robots.txt を触るときの落とし穴
Google-Extended を設定しようとして robots.txt を編集する際、気をつけたいことがあります。ここは公式の断定ではなく、実装上の注意(筆者の整理)です。robots.txt はユーザーエージェントごとにルールを分けて書くため、記述を誤ると、AI 向けの制御のつもりが通常の検索用クローラー(Googlebot)まで巡回できなくする、という事故が起こりえます。
たとえば、意図せず全クローラー向けの user-agent: * に Disallow: / を書いてしまえば、Google-Extended だけでなく Googlebot もサイト全体を巡回できなくなります。AI 学習だけを止めたいなら、対象は Google-Extended のグループに限定し、Googlebot のグループには手を触れない、という切り分けが必要です。編集後は必ず、意図したユーザーエージェントにだけルールがかかっているかを確認します。
設置と検証のワークスルー
ここまでを、「AI 学習には使わせたくないが Google 検索は守り、あわせて AI 向けの案内も置きたい」という一つの場面に通してみます。次の手順で進めます。
- 目的を確定する:まず「Google の順位のため」ではなく「AI 学習の制御」と「Google 以外の AI への情報提供」が目的だと確認します。ここが曖昧だと、後の設定が過剰になったり逆効果になったりします。
- robots.txt をサイトのルートに用意する:公式の「robots.txt の作成方法」は、robots.txt という名前のファイルを作り、ルールを追加し、サイトのルート(最上位の階層)にアップロードし、テストする、という手順を示しています。この「ルートにアップロードする」という配置の指定に注意します。
- Google-Extended のグループだけを絞る:
user-agent: Google-Extendedのグループを作り、学習に使わせたくない範囲をdisallowで指定します。このブロックは Google 検索の表示・順位には影響しません。 - Googlebot を巻き込んでいないか確認する:
user-agent: *などに広すぎるDisallowを書いていないか、Googlebot が通常どおり巡回できるかを見直します。 - 必要なら llms.txt をルートに置く:Google 以外の AI への案内を出したい場合のみ、サイトの要点をまとめた llms.txt をルート直下に配置します。Google 検索の順位のためではない、という前提は崩さないようにします。
- 計測面で見え方を確認する:Search Console の「生成 AI パフォーマンス レポート」で、生成AI関連での自社コンテンツの見え方を確認します。順位が上がったかではなく、意図した見え方になっているかを観点にします。
この6ステップで、「llms.txt を置けば Google で有利になる」という誤解を、「AI 学習の制御と AI 向けの情報提供を、検索を巻き込まずに整える」という具体的な作業に置き換えられます。なお、AI や検索結果への引用のされ方を、ページ単位でさらに細かく制御したい場合は、検索とAI概要の引用を部分制御|data-nosnippetの書き方 もあわせて検討する価値があります。
設置すべきか自己点検する
自社サイトに llms.txt や Google-Extended の設定が要るのかを、目的から見分けます。次の表で、自分のケースを当てはめてみてください。
| 点検の観点 | 見るところ | 判断の目安 |
|---|---|---|
| そもそもの目的 | 何のために置きたいか | 「Google の順位のため」なら不要。公式ガイドは作成を「無視してよい手法」に挙げている |
| AI 学習の可否 | 生成AIの学習にデータを使わせたいか | 使わせたくないなら Google-Extended を robots.txt で指定 |
| 検索への影響 | 順位が下がる不安 | Google-Extended のブロックは表示・順位に影響しない |
| AI への案内 | Google 以外の AI に要点を伝えたいか | 伝えたいなら llms.txt をルートに置く価値がある |
| 設置場所 | ファイルの配置 | 公式手順どおり robots.txt はサイトのルートにアップロードする |
| 事故の有無 | Googlebot を巻き込んでいないか | user-agent: * の広すぎる Disallow に注意 |
上から順に見て、目的が「Google の順位を上げること」なら、llms.txt の設置は論点から外して構いません。「AI 学習を制御したい」「AI に正しく理解されたい」に当てはまる場合だけ、下の行の設定に進むのが無駄のない順番です。
Wemiro では、robots.txt や llms.txt の設定が意図どおりに機能しているか——Google-Extended のブロックが効いているか、通常の Googlebot まで塞いでいないか——を確認する診断もご用意しています。設定後に「本当に検索を巻き込んでいないか」を目視で追わずに点検したいときの一助になります。
まとめ
Google 検索で上位を取るために llms.txt を作る必要はありません。公式ガイドが llms.txt を「無視してよい手法」の例に挙げている以上、「Google で有利になるから置く」という動機は成り立ちません。llms.txt を置く意味があるのは、Google 検索の順位ではなく、Google 以外の生成AIに自社サイトを正しく理解してもらいたい場合です。
あわせて robots.txt の Google-Extended は、AI 学習の可否を伝える制御であって、Google 検索の表示・順位には影響しません。設定する際は、対象を Google-Extended のグループに絞り、Googlebot を巻き込まないこと、そして robots.txt と llms.txt をサイトのルートに正しく置くことを守れば十分です。検索順位のためではなく、AI 時代の情報の出し方を整えるもの——そう位置づけると、必要な作業だけを迷わず選べます。AI クローラーの制御を実装目線で詰めたいときは AIへの提供だけ止めSEOは守る|Google-Extended設定 を、引用のされ方を細かく制御したいときは 検索とAI概要の引用を部分制御|data-nosnippetの書き方 もご覧ください。
出典
