robots.txt とは 意味/解説/説明 (ロボッツ・テキスト)

読み方

ロボッツ・テキスト

ロボット型の検索エンジンが自分のページを登録しないようにするためにサイト管理者がWebサーバー上に配置するテキストファイル。

サイトのトップディレクトリに置くことで、検索エンジンのロボットがそのファイルを参照できるようにし、そこにロボット検索から除外したいページを記述することで、自分のサイト内の特定のディレクトリ以下を検索対象から外すことができる。

また、各ページを登録しないように指定する場合は、ページ内のmetaタグに設定する方法もある。

http://www.robotstxt.org/

用語「robots.txt」が使われている記事の一覧

全 208 記事中 1 ~ 50 を表示中

ページ

Web担編集部 2009/06/08 8:00 (24)(219)

グーグルの公式ドキュメント「Google 検索エンジン最適化スターターガイド」の日本語版が公開されました。オリジナルバージョンはPDFなのですが、「PDFはちょっと……」という人もいますので、HTML版として公開します!

ページタイトルメタ タグ、URL の構造、サイト内のナビゲーション、アンカー テキスト、見出しタグ、robots.txt、rel="nofollow"や、サイトの宣伝方法など、あなたのサイトにも役立てられる情報が、必ずみつかるはずです!

Moz - SEOとインバウンドマーケティングの実践情報

SEO基礎用語集[完全版]

Moz(旧SEOmoz) 2007/08/24 9:00 (348)

[海外特選サイト翻訳] SEOmoz
検索マーケティングのニュース&テクニック

SEO業界は、聞き慣れない言葉であふれている。まだ経験の浅いSEO担当者に、完全版用語集を贈ろう。

その数なんと140個! 各用語を完璧に解説しているわけではないが、あなたの手元に置いておくと、必ず役に立つときがくるだろう。

鈴木 謙一 5/26 7:00 (254)(86)(32)

イマドキのSEOで大切なことは何か。2人のSEOエキスパートがそれぞれ解説している。CA木村氏の「SEOにできること・すべきことの基本的な考え方」と、渡辺隆広氏の「『ユーザーのために』というアドバイスを聞き飽きた人へ」だ。

鈴木 謙一 6/16 6:00 (49)(58)

「SEOで上位に表示されるためには、文章を何文字以上にするのがいいか?」を気にしている人がいたら、ぜひこの記事を読んでほしい。あなたにピッタリの情報がここにある。

鈴木 謙一 4/14 7:00 (45)(43)(22)

グーグルは、ニュース記事などで語られている内容が事実かどうかの検証状況に関するラベルを検索結果に表示するようにした。「フェイクニュース」対策のために導入した、いわゆる「ファクトチェック」の情報提供だ。

Moz(旧SEOmoz) 2012/02/13 9:00 (61)(73)(69)

そもそも重複コンテンツの問題は、どのような状況で発生するのだろうか。サイトの構成、システム面、ドメイン名、サイト内検索、商品一覧ページなど、さまざまな側面から具体的に解説していく。

鈴木 謙一 4/7 7:00 (133)(100)(51)

グーグルの考える「良質なコンテンツ」の定義は、どういうものなのだろうか。グーグル長山氏のコメントをもとに解説する。

鈴木 謙一 2013/02/08 9:00 (71)(41)

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、渡辺氏による「雑誌編集者視点でのコンテンツの考え方」のわかりやすい記事。ほかにも、グーグル公式の検索エンジンとサイトの基本を学ぶサイトや、SEOに関する17個のよくある質問と答えなどの情報をお届けする。

鈴木 謙一 2013/07/19 9:00 (67)(34)

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、海外の大規模イベントで語られた、ウェブマーケティングのトレンド。「ブランド支配」「競争激化」などが語られている。ほかにも「ブサメン」「イケメン」で理解するリンクの質や、イマドキの有料ディレクトリの話題などをお届けする。

鈴木 謙一 5/12 7:00 (128)(99)(38)

グーグル検索で1位を獲得するために絶対必要なこととは何か。また、グーグル検索におけるRankBrainのための最適化にはどんなものがあるのか。グーグルのジョン・ミューラー氏による解説をお届けする。

鈴木 謙一 2/3 7:00 (93)(66)(36)

いまのSEOはコンテンツ命だとはいえ、良いコンテンツをさらに検索で有利にするノウハウが一切ないわけではない。titleタグやmeta descriptionをどう作るのが検索で有利か、米Etsyの調査から情報をお届けする。

鈴木 謙一 2010/05/28 10:00 (139)

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のピックアップは出血大サービス。マット・カッツを含むグーグルスタッフが回答したSEOのQ&Aを大量に日本語でお届けする。

ウェブマスターツールやGoogle Analyticsなどのグーグル情報を中心に、ヤフー情報が小粒でピリリと効いた、お得号だ。

鈴木 謙一 2016/11/11 7:00 (97)(60)

興味深いデータをグーグルが発表した。日本のウェブのHTTPS化状況は、アメリカ・ロシア・インド・ドイツなど他国と比べて低いようなのだ。これは、なぜなのだろうか。

時代は「SEO」から「SXO」へ ~海外最新サーチ事情・市場予測

SXO実現のためのユーザビリティ観点で押さえておくべき3つのポイント

SXO(Search Experience Optimization)では、サイトの技術的な基盤である「ユーザビリティ」が、最初に考えられるべきだ。具体的には「モバイルフレンドリー」「情報の構造化」「クローラビリティ&インデクシング」という3つのポイントが重要だ。

鈴木 謙一 2014/11/28 8:00 (77)(107)(65)

今週のトピックは、スマートフォンで見たときにサイトが使いやすいかどうかをチェックするグーグル公式ツール「モバイル フレンドリー テスト」と「モバイルユーザビリティレポート」の話題。ほかにも、ヤフーの虫眼鏡SEOスパム、ウェブマスターツールに届くメッセージの解説などなど、SEOの話題をお届けする。

鈴木 謙一 2/17 7:00 (148)(98)(41)

グーグルが上位に表示したい「検索者のニーズに応える」コンテンツを作るには、「検索意図」を探るのが大切だ。そのやり方をわかりやすく解説した記事を紹介する。

鈴木 謙一 2014/06/06 9:00 (98)(92)(53)

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、「被リンクなしでの上位表示は可能なのか?」に対するマット・カッツ氏のコメント。ほかにも、日本のSEOの現状、スマホ向け表示のポイント、検索順位が下がった原因などなど、SEOの情報をお届けする。

鈴木 謙一 2016/12/09 7:00 (47)(46)

グーグルのMFIが導入されたら、内部リンクがうまく張られていないページは、クロール・インデックスされなくなってしまうだろうか? この疑問にグーグルの長山氏が質問に答えている。

Moz - SEOとインバウンドマーケティングの実践情報

「有料リンクは是か非か」GoogleのMatt Cutts氏も盛り上がったSES San Jose 2007

Moz(旧SEOmoz) 2007/09/14 9:00

[海外特選サイト翻訳] SEOmoz
検索マーケティングのニュース&テクニック

カンファレンス関連の記事が続くけど、今日は「有料リンク」に関するセッションを紹介しよう。これまでところ、期待も評判も感動も最大級だったセッションだ。

この2~3年、Googleをはじめとする検索エンジン事業者は、有料リンクの広告と有料リンクのネットワークによるミクロ経済をしつこく問題にしてきた。基本的な論調はこうだ。

「有料リンクはインデックスの不正操作や汚染に相当している」「有料リンクはリンク先ページの品質や妥当性を「編集の立場で保証」するものではなく、経済的報酬という隠された動機によって検索結果の品質に悪影響を及ぼしている」

さて、業界の代表的な人が参加し、聴衆との質疑応答も盛り上がったこのセッションで語られたことを詳しくレポートしよう。

鈴木 謙一 2/24 7:00 (126)(86)(40)

グーグルが対策するまで、品質の低い「まとめ記事」「リライト記事」が上位に表示されていたのはなぜなのか。先日の検索品質向上アップデートに関するわかりやすい解説をアイレップが公開した。

鈴木 謙一 2014/05/30 9:00 (101)(84)(39)

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、グーグルがクロール&インデックスの際に、JavaScriptを本格的に実行するようになったという話題。ほかにも、JS実行に関連するテーマや、構造化データの基本ガイド、関連語といった話題もお届けする。

鈴木 謙一 2016/09/09 7:00 (100)(60)

グーグルがコンテンツの品質を評価する「隠れた」アルゴリズム。その評価はページ単位なのかサイト単位なのか。どういう動きをし、どう対応するべきか。その分析の第一人者が解説する。

鈴木 謙一 2012/07/27 9:00 (32)(42)

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、先週、正式に日本での導入が発表されたパンダアップデートに関しての情報。ほかにもグーグルの警告メッセージの送信対象拡大や、順位低下でトンズラした悪徳SEO業者の話、大手ニュースサイトのガイドライン違反など、良記事がたくさん。

鈴木 謙一 2016/02/05 7:00 (58)(35)(47)

グーグル推奨のHTTPSへの移行に関する13の質問に、グーグルのジョン・ミューラー氏が答えている記事は、要チェック。

鈴木 謙一 2015/07/10 7:00 (69)(44)

常時HTTPS化やドメイン名移行をすると、各ページの「いいね!」数がゼロに戻る問題への1つの解決策を、今週はピックアップ。ほかにもnoindex、被リンク、EFO、「検索結果でフェイスブックページにリッチスニペット」、重複コンテンツ、パンダなどなどの情報をお届けする。

鈴木 謙一 2015/12/04 7:00 (55)(46)

今週は、オウンドメディアをどう活用するかのうち、「どうやると失敗してやめることになるのか」を解説した記事がトップストーリー。ほかにも、ChromeでのHTTPS鍵アイコンの変更、グーグルが推進するモバイル高速化の「AMP」、重複コンテンツ、スマホのコンバージョン率などなど、SEO関連の情報をまとめてお届けする。

鈴木 謙一 2015/02/13 7:00 (33)(56)(42)

meta refreshは301リダイレクトの代わりに使って大丈夫なのか? 検索エンジン向けのサイトマップ送信のベストプラクティスは? WordPressやJoomola!のサイトをモバイル対応させる方法、モバイル向けリダイレクト設定の確認方法、ユーザーに喜ばれるECサイト運営、GoogleとTwitterの再提携、サブドメインvsサブディレクトリなどなど、SEOの情報をたっぷりお届け。

Moz - SEOとインバウンドマーケティングの実践情報

ブログのアクセス数を増やす21の戦略

Moz(旧SEOmoz) 2007/06/15 9:00 (122)(23)(235)

[海外特選サイト翻訳] SEOmoz
検索マーケティングのニュース&テクニック

僕は最近、コンサルティングの時間のかなりの部分を、企業のブログの最適化(または刷新されたサイトへのブログの追加)に使っている。そのおかげで、注意が必要な戦略や避けなければならない落とし穴にのパターンが見えてくる。そこで、1時間400ドルの相談料を取ってこのテーマについて助言を与えるよりも、ごく一般的なアドバイスの多くを、このブログで共有するほうが有益じゃないかと思ったわけだ。全部で21のノウハウにまとめてみた。いかがだろうか。

鈴木 謙一 2012/09/07 9:00 (50)

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、オーストラリアのSEOコンサルタントが答えた「微妙にマニアックな」SEOのQ&Aだ。ほかにも、ウェブマスターツールに届くメッセージの種類、販売終了商品のページをどう扱うべきか、インスタントプレビューの更新などについての情報をお届けする。

鈴木 謙一 2014/04/18 9:00 (37)(66)(39)

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、WordPressサイトのSEOをウェブライダーの松尾氏が解説した記事。ほかにも、検索結果に電話番号や店舗の営業時間を表示する設定やウェブマスターツールなど、SEOに関する話題をお届けする。

鈴木 謙一 2015/07/03 7:00 (54)(50)

今週のピックアップは、スマホ版ページにnoindexを指定していても、対応するPC版ページがnoindexでなければ検索結果に出てしまう現象について。ほかにも、スマホ+タブレットのApp Indexing、AngularJSでのSEO事例、ユーザー視点に立ったフォーム、スマホ版検索結果での「読み込みが遅い」ラベルなどなど、SEOの情報をお届けする。

鈴木 謙一 2015/09/25 7:00 (93)(84)(37)

iOS 9の広告ブロックによって、広告どころかGoogleアナリティクスでの計測までブロックされる場合があるトピックが、今週のトップストーリー。ほかにも、コンテンツマーケティングでのKGI/KPIと予算の考え方、robots.txtの基本、titleタグの作り方7つのポイントなどなど、SEOの情報をまとめてお届けする。

鈴木 謙一 2014/10/10 7:00 (273)(164)(55)

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週は、海外記事から2記事を注目記事としてピックアップ。検索結果での順位別クリック率の話題と、「今後ページランクは更新しない」とグーグルが明言した件だ。

鈴木 謙一 2015/05/22 7:00 (240)(110)(69)

グーグルの検索キーワードの大半を分析できなくなって久しいが、Googleアナリティクスでも見えなくなっていた検索キーワードを手軽に分析できる機能を、グーグルがウェブマスターツールに追加した。

Moz(旧SEOmoz) 2014/05/19 9:00 (60)(47)(22)

この記事では、過去に経験したことのないような要因で検索順位が下がる脅威について迫りたいと思う。まず検索順位を維持するために必要と考えられている要素を検討しよう。それから、こっちのほうがもっと重要なのだが、たとえ検索順位が下がっても成功を維持するSEO戦略を策定するにはどうすればいいかについて解説する。

鈴木 謙一 2015/09/04 7:00 (48)(51)

「これからはオウンドメディアだ」とがんばって始めたものの……という、ありがちな失敗例を11種類解説した記事が、今回のトップストーリー。ほかにも、スマホ時代に意識すべき「Micro-Moments」、meta keywords、インデックスなどなど、SEO関連の情報をまとめてお届けする。

鈴木 謙一 2013/06/28 9:00 (26)(28)

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、Webコンテンツ作成にかけるコストの話題。ほかにも、内部SEOで成果を出した話、成果報酬SEOのリスク、グーグルからの警告メッセージの改善などの話題をお届けする。

鈴木 謙一 2013/12/20 9:00 (79)(61)(23)

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、元グーグル社員によるSEOのポイント解説。ほかにも、「SEOに必要な本当のコンテンツ」「meta descriptionタグとランキング」やウェブマスターツールの「修正済み」などの情報をお届けする。

鈴木 謙一 2014/01/17 9:00 (153)(80)(41)

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、「被リンクは悪で、グーグルが被リンクを重視する時代は終わった」といった、SEOに対する勘違いを正す内容。ほかにも、ウェブマスターツールの新機能や「価値の高いコンテンツ」に関する話題などをお届けする。

鈴木 謙一 2013/08/23 9:00 (57)(54)(31)

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、グーグルのガイドライン違反などで手動ペナルティを受けていないか自分で確認できる、ウェブマスターツールの新機能の話題。ほかにもスマホサイトの高速化やUX改善、「これであなたもウェブスパム博士」などの情報をお届けする。

鈴木 謙一 2016/05/13 7:00 (57)(44)

今週お届けするトピックは、「ブログサービスなどの大手が、ウェブスパム対策で協力」というトピックだ。具体的には、スパムを行っているURLやその手法を情報共有するなどがある。

鈴木 謙一 2015/10/30 7:00 (39)(48)

検索結果にページを表示させないようにして失敗する例のほか、「(not provided)」で隠されたキーワードを探る方法、不正コピーサイト対策、グーグルの中核アルゴリズム、HTTPS設定、ランド・フィッシュキン氏による「2つのアルゴリズムの世界におけるSEO」などなど、SEOの話題をたっぷりお届けする。

鈴木 謙一 2015/11/06 7:00 (396)(140)(58)

「インタビューは独自コンテンツだからSEOに強いはず」と思って作ったコンテンツがグーグルに評価されず、その原因と対策を解説した記事が、今週のトップストーリー。
ほかにも、グーグルの新しいアルゴリズム「RankBrain」、インタースティシャルで順位低下、SEOでやるべきこと・やっていはいけないことなどなど、SEOの情報をまとめてお届けする。

鈴木 謙一 2013/08/30 9:00 (55)(42)(25)

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、いま本当に知っておくべき大切な12個のSEO施策(2013年版)。ほかにも、著者情報の設定やレスポンシブWebデザインの基本などの情報をお届けする。

鈴木 謙一 2015/09/11 7:00 (35)(29)

ページにアクセスしようとしたら全画面で広告――そんな「インタースティシャル」があるページの評価がモバイル検索で下がるようになる話題が、今週のピックアップ。ほかにもSEOの競合調査、インデックス登録ページ減少、URL削除ツールの正しい使い方、モバイル対応などなど、SEOの話題をまとめてお届けする。

鈴木 謙一 2014/09/19 9:00 (36)(48)(22)

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、日本のグーグルがすでに対策済みの「こんなダメなリンク元サイトは見破られる」。ほかにも、「SEOの“伝える力”」「ウェブマスターツールのAPI」「サイトマップとrobots.txtの動作」などなど、SEOの情報をお届けする。

鈴木 謙一 2013/07/05 9:00 (28)(24)

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週のトップストーリーは、livedoor Blogが「SEOスパムブログを削除する」と公式に対応した件。ほかにも、グーグル日本によるオンライン サイトクリニック、フェイスブックの「いいね!」で検索順位は上がるのか、などの情報をお届けする。

鈴木 謙一 6/9 7:00 (185)(75)(24)

5月半ばにグーグルで比較的大きな順位変動があった。アルゴリズム分析の第一人者であるグレン・ゲイブ氏による、7つのSEOノウハウを紹介する。

鈴木 謙一 2016/05/27 7:00 (191)(112)(29)

「音声検索? 使わないよね」あなたがそうでも、若者はそうではない。実際に、モバイルで音声検索が増えてきている事実を把握しておくべきかもしれない。

鈴木 謙一 2014/10/31 8:00 (109)(94)(37)

1週間のSEO/SEM情報をさくっとまとめるこのコーナー、今週は、最近更新されたパンダアップデートにやられたサイトに共通でみられる特徴を紹介する内容をピックアップ。さらに、グーグルのウェブマスター向けガイドライン改訂、コンテンツSEOの正しい考え方、コンバージョン最適化の基本、ウェブデザイン8つの法則など、役に立つ情報を満載でお届けする。

ページ

みんなが読んでるWeb担メルマガで、あなたも最新情報をチェック
  • SEOやアクセス解析のなどノウハウをゲット
  • 事例やインタビューも見逃さない
  • 要チェックのセミナー情報も届く
  • 編集長コラムを一足先に読める

日本赤十字社 東日本大震災 義援金募集
みんなが読んでるWeb担メルマガで、あなたも最新情報をチェック
  • SEOやアクセス解析のなどノウハウをゲット
  • 事例やインタビューも見逃さない
  • 要チェックのセミナー情報も届く
  • 編集長コラムを一足先に読める

Web業界の転職情報

もっと見る
Sponsored by

人気記事トップ10(過去7日間)

今日の用語

クロスリスティング
株式会社クロスリスティングが提供する検索連動型広告など検索エンジンマーケティング ... →用語集へ

インフォメーション

Web担のメルマガを購読しませんか?
Web担の記事がコンパクトに毎週届くメールマガジン「Web担ウィークリー」は、10万人が読んでいる人気メルマガ。忙しいあなたの情報収集力をアップさせる強い味方で、お得な情報もいち早く入手できます。

Web担に広告を掲載しませんか?
購読者数10万人のメールマガジン広告をはじめとする広告サービスで、御社の認知向上やセミナー集客を強力にお手伝いいたします。

サイトマップ
RSSフィード


Web担を応援して支えてくださっている企業さま [各サービス/製品の紹介はこちらから]