クローラーとは、検索エンジンが検索結果の順位を決めるために、サイト内を巡回して情報を収集するロボットのことを言います。
クローラーは別名、「ボット(bot)」「スパイダー」「ロボット」とも言われます。
巡回頻度はSEO対策においてとても重要で、回数が多いと検索上位に表示されることもあるほどです。
この記事で、クローラーの意味を理解して、具体的な対策方法を実践して検索結果上位に表示されるように実行してみてください。
クローラーとは、検索エンジンが検索結果の表示順位を決めるために必要な要素を、サイトを巡回して収集するロボットのことです。
「這いまわる」という意味の「crawl」が語源となっています。
クローラーは検索エンジンによって呼び名が異なり、代表的な検索エンジンとそのクローラーは以下のとおりです。
Google：Googlebot
Bing：Bingbot
Baidu(百度)：Baiduspider
NAVER：Yetibot
サイトの検索順位を上げるためには、クローラーにサイトを巡回してもらいやすくする、つまりクローラビリティを向上する必要があります。
クローラビリティ向上のために行うべきことはいろいろとありますが、とくにgoogleクローラーへの対策としては、主に以下のようなことが挙げられます。
・XMLサイトマップを設置する
・シンプルなURLにする
・内部リンクを最適化する
・GoogleサーチコンソールのFetch as Googleを活用する
・robots.txtを設置する
・リンク切れのページを排除する
・パンくずリストを設定する
それぞれについて、詳しく説明します。
XMLサイトマップとは、サイト内のページ構成やコンテンツの内容を検索エンジンに把握してもらうために設ける、サイト全体の設計図のようなものです。
適切に内部リンクが張り巡らされているサイトであれば、クローラーはほぼすべてのページをクローリングします。
ただ、インターネット上にあるサイトの数は非常に膨大なので、クローリングにもかなりの時間を要することになります。
XMLサイトマップを設けておくことでクローラーがサイトの全体像を把握しやすくなるうえに、優先的にクローリングするページをクローラーに伝えることも可能です。
URLをなるべくシンプルなものにすることも、クローラビリティを向上させるためには有効です。
URLが複雑だと、それを読み込むのにクロールが消費されてしまい、クロール全体に支障をきたす可能性があります。
その結果、サイトのコンテンツがしっかりと読み込まれないためインデックスされずに、検索結果で上位表示されないということになりかねません。
サイトのURLを決める際は、なるべくシンプルな文字列にすることを心がけましょう。
クローラーは内部リンクをたどってサイト内を巡回します。
そのため、適切に内部リンクが張り巡らされていることで、クローラーがより多くのページにたどり着いて情報を収集することが可能になります。
内部リンクはSEOの観点からも重要な施策なので、内部リンクは最適化することをきちんと意識しましょう。
Fetch as GoogleはGoogleサーチコンソールの機能のひとつで、Googleのクローラーに対してクローリングのリクエストを行うことが可能です。
また、クローラーがサイトの情報をどのように取得してどう認識しているのかを、確認することもできます。
クローラーによるクローリングの頻度はサイトによってまちまちで、新しいコンテンツを頻繁に公開しているサイトにはクローラーがよく訪れますが、更新頻度が低いサイトや新しいWebサイトはクローラーが訪れる頻度が低くなることが多いです。
Fetch as Googleを利用してクローラーをサイトに呼び込むことで、少しでも早くコンテンツをインデックスに登録してもらい、検索結果に反映させることができます。
robots.txtには、サイトマップのURLを記述することができます。
robots.txt自体はサイトの構成に必須のものではありませんが、記述しておくことでクローラーがより早くサイトを巡回してくれる可能性があります。
クローラビリティ向上のためにも、ぜひ記述しておきましょう。
サイトを長年運営していると、リンク先のサイトの閉鎖やURLの変更などが理由で、リンク先にアクセスできないということも起き得ます。
このようにリンク先に遷移できない状態は、クローラビリティの低下を招くためあまり好ましくありません。
クローラビリティの話とはすこしずれますが、ユーザビリティという観点でも、リンク切れのページが残り続けている状態はできるだけ回避すべきでしょう。
リンク切れのページはGoogleサーチコンソールから確認することができるので、定期的に確認してリンク切れになっているページはなるべく速やかに排除しましょう。
パンくずリストとは、現在見ているページがサイト内のどの位置にあるかを階層構造で示した、リンク付きのリストのことです。
クローラーはリンクをたどってページを遷移するため、パンくずリストを設置することで回遊率の向上が見込めます。
また、「Webサイト内のどの階層にいるのかを認識しやすくなること」は、「Googleにとって理解しやすいサイトである」ことを意味します。
そういった点からも、検索順位の向上が見込めるでしょう。
hタグは見出しを設定するタグで、見出しの大きさ順にh1～h6までの6段階があります(ただ、h5やh6が用いられることはほぼありません)。
hタグを設定することで、見出しやタイトルを通常のテキストよりも大きく表示させることができるので、ユーザーがサイトの構成や内容を理解しやすくなります。
そして、このhタグにはユーザーが内容を理解しやすくなるのと同時に、検索エンジンのクローラーが内容を把握しやすくなる効果もあるのです。
そのため、適切にhタグを用いることは、ユーザビリティとクローラビリティの双方を向上させるために、非常に重要です。
h1タグはもっとも上位にあたるタグで、サイトや記事全体のタイトルに当てはまる部分に用いられるタグです。
タイトルに用いられるタグであることから、基本的には1つのページにつき1つだけ用いることが望ましいです。
複数回使用すること自体に問題があるわけではありませんが、Googleは、h1タグが複数あることに関して、「どのh1の要素が本来重要なのかが判断できなくなり、本来の大見出しとしての重要度や価値が薄まる。」と公式に発言しています。
そのため、SEO的な観点からh1の使用は1つに抑えましょう。
h2とh3は数字の順番から分かるように、h2はh1の次に大きな見出し、h3はh2の配下にある見出しに用いられるタグです。
たとえばh1の内容が「この冬に食べたい！体が温まるおすすめ鍋！」だったとしましょう。
そうすると、記事ではおすすめの鍋をいくつかおすすめする形になると思いますので、h2はたとえば「辛さが病みつきになる！ピリ辛鍋おすすめ5選」といったような形になります。
そしてそのh2の中で具体的におすすめする鍋に関して、h3を用いて「○○鍋」を紹介するという流れです(h4を用いるケースに関しても同様)。
このようにhタグを利用する場合は、きちんと階層構造を意識したうえで用いることを心がけましょう。
クローラーは画像を読み込むことも可能ですが、画像に含まれているテキストを読み込むことはできません。
そのため、画像内部に重要なテキストが記述されていたとしても、とくに何も対策を行っていなければ、クローラーは「空白」と認識してしまいます。
こういった事態を避けるためには、画像のイメージタグにalt属性を設定する必要があります。
alt属性は画像の中身を示唆・説明する代替テキストとして設定されるものなので、alt属性を設定することでクローラーに画像情報を適切に伝えることが可能です。
先ほど少し触れましたが、内部リンクを最適化することでクローラーがサイト内を適切に巡回しやすくなります。
そのため、検索エンジンによりインデックスされやすくなり、検索順位の向上が望めるでしょう。
ただし、関連性の無い品質の低いページに向けて内部リンクしても、SEO効果は見込めません。
リンク先ページとの関連性を考慮したうえでリンクすることを、意識する必要があります。
内部リンクの設置に適した場所は、パンくず・ヘッダー・フッター・サイドバー・本文内・タグなどさまざまです。
クローラビリティの向上だけでなく、ユーザビリティの向上も意識したうえで設置する場所を決めるようにしましょう。
スニペットとは、検索結果画面でＷebサイトのタイトル下に表示される、ページ内容を要約・抜粋したテキスト情報のことです。
その中でも、通常のスニペットにレビュー評価や動画といった追加要素が加えられて、情報量が豊富(リッチ)になったスニペットのことを、リッチスニペットと言います。
「リッチスニペットに表示された」もしくは「表示されるための施策をした」ということは、SEOの観点からは直接的に効果があるわけではありません。
ただし、リッチスニペットによってページの内容が検索エンジンのクローラーに伝わり、その結果としてページ評価が向上する可能性は考えられるでしょう。
また、リッチスニペットに表示されたことで検索結果においてユーザーの目を引きやすくなり、クリック率が向上するという観点でも、間接的にSEO評価が向上することは期待できます。
リッチスニペットを設置するためには、「構造化データ」を正しく記述しなければなりません。
構造化データとは、Web上の情報を規則にしたがって記述し、検索エンジンに意味が伝わるようにするためのデータのことです。
サイトの内容を適切にマークアップして検索エンジンに伝えることで、スニペットに表示されやすくなります。
構造化データをマークアップする方法としては以下の3種類の方法があるので、いずれかを行うことでリッチスニペットを設置することが可能です。
HTML上に直接マークアップする
構造化データマークアップ支援ツールを用いてマークアップする
データハイライターを用いてマークアップする
nofollow属性とは、特定のリンク先をクロールしないよう、検索エンジンにヒントとして提示するための属性値のことを指します。
nofollow属性を設定することで、検索エンジンはリンクをクロールする際の参考にするので、自サイトと無関係なページへのクローリングなどを意図的に避けやすくなります。
SEOという観点からはnofollow属性を設定することはあまり意味がありませんし、場合によっては逆効果になることもあるので、設定するかどうかは慎重に判断する必要があります。
nofollow属性の設定方法は、特定のリンクに対して設定するのか、ページ全てのリンクに対して設定するのかによって若干異なります。
特定のリンクに対して設定する場合は、HTML内のnofollowを設定したいリンクのaタグ内に、【rel=”nofollow”】の記述を追加することで設定できます。
ページ全てのリンクに対して設定する場合は、head内のmetaタグとして設定することで、すべてのリンクにnofollow属性が設定されることになります。
