フレッシュクローラーとは?
フレッシュクローラーについて調べてみました。
今日確認した限りでは、「.htaccess」の設定後
Googleでは半分程度
Yahooでは3割程度
新しいURLに変更されています。
こんなに早いとは思っても見なかったです。
GoogleもYahooもフレッシュクローラーが来ている感じがするのですが、
関係あるのかないのか・・・・。
ほんとにフレッシュクローラーはよくわかりません。
こちらの書籍にこのような記述がありました。
(古い情報ですいません)
フレッシュクロールのしくみについてもう少し詳しく解説をします。 Googleのフレッシュクロールは、基本的に「定期クロールによってインデックスされたドメイン」 の範囲内で巡回をします。 (中略) Googleがフレッシュクロールでインデックスに掲載する際のページ評価は、ページ内要因 によってのみ行われます。 フレッシュクロールで掲載する際のページ外要因は、もっとも最近行われた定期クロールの 結果算出されたPageRankなどのリンクポピュラリティーやサイトテーマのデータを参考にしています。
こんな情報もありますが・・・・
http://www.su-jine.com/sujine_seo_column0010.html
アクセスログを見る限り、Googleのフレッシュクローラーは、
crawl-66-249-72-113.googlebot.com
crawl-66-249-72-211.googlebot.com
このあたりかなぁと・・・。
Yahooのフレッシュクローラーは、
fj301007.inktomisearch.com
fj301027.inktomisearch.com
fj301013.inktomisearch.com
こんな感じだと思うのですが、ほんとにわかりません(--;)
Yahooは、
fj301026.inktomisearch.com
lj601030.inktomisearch.com
lm502022.inktomisearch.com
こんな感じで先頭文字が
「fj」「lj」「lm」とあったので、「fj」がフレッシュクローラー
かなと思っていたのですが、2006年7月22日から
cdt4041.inktomisearch.com
cdt4000.inktomisearch.com
こんな感じの見慣れないクローラーが来るようになり、
昔からあったのか最近なのかなんともさっぱりわからない状況に
混乱気味です。
かなり間違いがあると思いますので、本気にしないで下さい m(__)m
2006年07月25日