クローキングとは？Googleから不正SEOとみなされる手法を解説

クローキングとは、IPアドレスやユーザーエージェントによって表示させるページを変える手法を指します。

SEOにおいてクローキングとは、「クローリングロボットを欺いて検索ランキングを操作する目的や、ユーザーに対して誤解や不利益な情報を与えるために、人間と検索ロボットそれぞれに違うページを表示させるスパム行為」のことです。

具体的に説明します。

通常WebページがGoogleの検索結果に表示されるためには、Googleのクローラーがページのhtmlソースコードを読み取り、コンテンツの内容を把握した上で評価をおこなって検索結果に表示されます。

通常はクローラーが読み取った内容がそのままユーザーにも表示されなければいけません。しかし、クローラーが読み取る情報とは異なる情報を、ユーザーに表示させるのがクローキングです。

▼  意図的なクローキングがおこなわれる目的は以下のようなケースが挙げられます。

• クローラーには一般的なサイトと認識させて、ユーザーに詐欺サイトを表示させる
• クローラーには一般的なサイトと認識させて、ユーザーにアダルトサイトを表示させる
• クローラーにはコンテンツが豊富なサイトと認識させて、ユーザーには写真やバナーばかりの見栄えのするサイトを表示させる

上2つは詐欺や違法コンテンツを表示させることを目的としていて、最後の例はSEOを目的としています。

クローキングはGoogle検索セントラルの「Google ウェブ検索のスパムに関するポリシー」内でスパム行為の1つとして記載されており、手動による対策ペナルティの対象となります。

そのため、Googleにクローキングと判定されれば、サイト全体の検索順位が大幅に下落したり、インデックス登録から削除されるなどの厳しいペナルティがWEBサイトに課されます。

手動による対策ペナルティを受けた場合、サイトの修正をおこない、再審査をGoogleにリクエストすることでペナルティを解除することはできますが、元の検索順位に戻るまでには多くの時間がかかります。

また、極めて悪質な行為と判断された場合は、再審査リクエストをおこなっても検索順位が戻らないといったこともあり得ます。

過去、ドイツのBMWのWebサイトがクローキングによって重大なペナルティを受けた例もあります。

【参考記事】：Google Bans BMW for Search Spamming

繰り返しになりますが、クローキングは重大なガイドライン違反でありスパム行為です。ペナルティの対象となるため、絶対におこなわないようにしましょう。

【関連記事】

クローキングの代表的な手法として、ユーザーエージェント・IPアドレスを利用する方法が挙げられます。この方法は、閲覧しているユーザーが人間か、Googlebot（Googleのクローラー）なのかをユーザーエージェントやIPアドレスによって判断して、表示するページを切り替える代表的な方法です。

 ▼ 具体的な手法は以下のようになります。

1. まずは、IPアドレスもしくは、ユーザーエージェントで人間のアクセスかクローラーのアクセスかを識別します。
2. クローラーからのアクセスに対して、301リダイレクトで別のページにクローラーを転送する、もしくはjavaやPHPで作成された動的なページをクローラーに表示させます。

このように設定することで、人間とクローラーそれぞれ別のコンテンツを表示させるのがクローキングの具体的なやり方になります。

なお、この手法を使ってSEOのラインキングを上げるサイト運営者は現在殆どいなくなりましたが、フィッシング詐欺のサイトや、違法なアダルトサイトで利用されるケースは、未だスパマーによっておこなわれていることがあります。

 また、以下のようなケースも存在します。

検索エンジンには旅行の目的地に関するページを表示しながら、ユーザーに対しては薬の割引に関するページを表示する

Google ウェブ検索のスパムに関するポリシー | Google 検索セントラル

クローキングは、2000年代に多くみられた不正なSEOの手法として有名です。クローキングを使ってどのようにSEOスパマーがランキング操作をおこなっていたのかを解説します。

1つ目の方法としては、画像・Flashを中心にページが作成されたサイトの検索順位を上げる方法です。以前は、画像やFlashを使って作る方が、ユーザーにとって見栄えの良いサイトを作ることができました。

ただし、検索エンジンは、人間のように画像やFlashの内容を正しく理解することが出来ないため画像を中心に使っているサイトはSEOに弱く検索順位が上がりづらい傾向がありました。

そこで、クローラーには関連キーワードを散りばめたテキストを読み込ませ、人間が訪れたときには、画像・Flashを多用したサイトを表示させるクローキングがSEOの手法として使われました。当然このやり方もランキング操作を目的とした偽装行為と判断されるため、ペナルティの対象となります。

2つ目の方法は、検索エンジンがクロールした時だけコンテンツやキーワードを多く読み込ませる手法です。以前は、コンテンツ内にテーマに関連するキーワードの出現率や、共起語の利用率が高いサイトの順位が上位に表示されていました。

これを悪用して、人間が見るとキーワードが羅列されすぎて不自然に見えるテキストを検索エンジンだけに表示させページのSEO評価を高める手法です。この方法も人間とクローラーで表示されるコンテンツが異なるクローキングと判断されます。

3つ目の方法は、隠しリンク・隠しテキストを使用する方法です。人間が閲覧しているときには、何も見えない状態ですが、クローラーには見えるようにテキストを隠す手法がこの方法になります。

 IPアドレスやユーザーエージェントで閲覧者を判別するクローキングとは異なりますが、人間とクローラーで表示されるコンテンツが違うという意味では広義のクローキングに該当します。

▼  具体的な方法として、以下の手法が用いられます。

• テキストを画像の裏に隠す方法
• 文字の大きさを0にする方法
• 背景と文字の色を同じ色にして同化させる方法

人間の視覚的には見えない状態を作り出し、クローラーにだけテキストを読み込ませることでSEO評価を高める手法です。

この手法もクローキングに該当するためSEOスパムに該当します。

【関連記事】

今まで説明してきたクローキングは意思を持ってするクローキングですが、クローキングする意思を持っていないにも関わらず、作成したサイトがクローキングと評価されることがあります。

意図しないクローキングによって、Googleからの低評価を受けることもあります。
以下では、注意すべき意図しないクローキングの例についてご説明します。

会員がID/パスワードを入力することで、ログインできるページはクローラーも認識することができません。そのため、存在しないページとして扱われ、基本的にクローキングに該当することはありません。

ただし、ログインした後に会員だけが閲覧できるコンテンツをクロールされ、インデックスされてしまっている場合は注意が必要です。

この場合、ログインページにアクセスすると、「ユーザーにはログイン画面が表示される」「クローラーにはログイン後の画面が表示される」状態となる可能性があり、ユーザーとロボットに対し意図的に別々のコンテンツが表示させていると検索エンジンから判断された場合、クローキングとしてペナルティが発生することがあります。

会員ページがインデックスされることは、なんらかの設定ミスをしない限りは起きないため稀なケースではありますが、心配な場合はnoindexタグを設定しておきましょう。

Webサイトがハッキングされ、ハッカーがクローキングをおこなうケースがあります。

この場合、ハッカーはサイト運営者に気づかれないよう、ユーザーをリダイレクトさせて悪意あるページを表示させ、サイトオーナーやクロールロボットには通常サイトを認識させるといったことを行います。

例えば、検索結果から訪問するユーザーには詐欺サイトなど別のページを表示させ、直接URLを入力するサイトオーナーとクロールボットを判別して通常ページを認識させる方法です。

サイトをハッキングした際に、ハッキングしたことをサイト所有者に気づかれないように、ハッカーがクローキングを行うことは珍しくありません。詳しくは、ハッキングされたサイトを修正する方法とハッキングの回避方法に関する説明をご覧ください。

Google ウェブ検索のスパムに関するポリシー | Google 検索セントラル

この場合は、ハッカーではなくサイト運営者自身がペナルティを受けることになってしまいますので、注意しましょう。

ハッキングを受けてペナルティになった場合は、サーチコンソールの「手動による対策」もしくは「セキュリティの問題」に通知が送られます。

ハッキング等の悪意からサイトを守るためにも、利用しているCMSのバージョンを最新版にアップデートする、サーバーファイアウォールを利用するなどの対策を取っておくことが大切です。

クローキングスパムは人間の目と検索ロボットを欺くことを狙っていますので、確実に判別するには検索エンジンが見ている情報を人間の目でも見えるようにしなければなりません。

検索ロボットが見ている情報を確認する方法を2つご紹介します。

FireFox/Chlomeともに、ユーザーエージェントを変更できるブラウザの拡張機能が存在します。

それぞれ、拡張機能をインストールしたブラウザで、Googleのbot名をユーザーエージェントに指定して検索・Webサイトの閲覧を行ってみましょう。通常アクセスした際の表示と異なっている場合、クローキングの疑いがあります。

Web検索を行った際に、検索結果の下に「キャッシュ」の文字を見つけることができます。

「キャッシュ」リンクをクリックして、通常見えるサイトと異なる表示がされる場合もクローキングの疑いがあります。また、そもそもソースにキャッシュ禁止を記述している場合、第三へクローキングが発覚することを防止する目的で設定されていることがあります。

クローキングについての説明をさせていただきましたが、ユーザーにとって有益な情報の場合はクローキングに該当しません。

Googleがクローキングを禁止する理由としては、ユーザーに誤情報を流さないようにするためです。ユーザーにとって利益のある情報は、条件によって異なるコンテンツを表示しても良いとされています。

 以下の3つの場合のときは、クローキングと判断されない例外となります。 確認しておきましょう。

地域によって表示のコンテンツを分ける場合は、例外的に許される事例の1つです。

例えば、検索するユーザーがアクセスする国によって表示ページを変えたりする方法です。閲覧するユーザーの国が違うのに同じページを表示してしまうと、言語が違うので理解できません。

このケースの場合は、ユーザーが利用する言語によってページを分けて表示しているため、ユーザーにとっては利便性が高く有益なサイトとなりクローキングには該当しません。

ただし、母国語が同じ日本語にも関わらず、東京と大阪で表示させるコンテンツを分けて表示させる場合はクローキングに該当する可能性があるため、この場合は東京と大阪でページを分けて作成しましょう。

2つ目に挙げられる例外の事例として、時間帯によって異なるコンテンツを表示させる方法です。リアルタイムでユーザーにとって有益な情報を与える場合は許されます。例えば、タイムセールなどの表示の際は、異なるページを表示することも可能です。

違う時間に同じページを表示させてしまうと、逆に誤情報を流す場合があります。その場合は時間によって違うページを表示することができるのです。この方法もクローキングではないので、時間によって違うページを表示することは許されています。

スマホサイトとPCサイトで異なるコンテンツを表示する場合も、クローキングにはなりません。スマホサイトとPCサイトでは、デバイスの大きさが異なるため表示されるコンテンツの見え方も変わってきます。

そのため、GoogleのクローラーもPC用とスマホ用に分かれています。

ただし、PC向けのクローラーである「Googlebot Destktop」をスマホページのクローリングに指定した場合は、URLが同じなのに別々のコンテンツが表示されるため、クローキングと判断される可能性があります。

意図的にそのような設定をするサイト運営者はいないと思いますが、念のため注意しておきましょう。

尚、PCとスマホページの作成方法について、Googleはレスポンシブデザインを推奨しており、PCでもスマホでも同じソースを読み込む、レスポンシブデザインで作成されたサイトは同じhtmlになるため問題ありません。

クローキングとは、検索エンジンと人間とで違うサイトを表示させ、SEOの評価を上げようとする行為のことを言います。Googleにおいてこの行為は禁止されており、もしクローキングしていることが見つかると、ペナルティを受けることになります。

 IPアドレスやユーザーエージェントを利用したり、画像やFLASHを利用して不正にクローキングすることは絶対に止めましょう。今現在ばれないとしても、今後の技術の発展により、見つかる恐れがあります。

 また、意図しないクローキングも存在しており、自分ではクローキングしていなくても、Googleにクローキングしていると判定されることがあります。意図しないクローキングを避けるためにも、常にクローキングされていないか確認し、セキュリティに注意を払う必要があります。

クローキングしてしまうと、SEOの評価が下がってしまうので、ページを作る際には気を付けて作成するようにしましょう。