サイト内検索:

Google Botがまるで人間が操作しているかのようにAjaxでロードされるコンテンツもクロール開始。

Apacheのログを見てた人がいました。その時こんなログを発見。

66.249.67.106 ... "GET /ajax/xr/ready?x=clcgvsgizgxhfzvf HTTP/1.1" ...
This is an ajax request issued from document.ready() callback of one website's pages. This means that the bot now executes the Javascript on the pages it crawls. The IP of 66.249.67.106 is crawl-66-249-67-106.googlebot.com and the A record is a match, so this is in fact a Google Bot.

66.249.67.106というのはGoogle BotのIPアドレスで、こいつがdocument.ready()で呼び出されるAjaxリクエストを実行していた、というものです。

そしてさらにこんなログも。

66.249.67.106 ... "GET /content/halloc/index.html?&x=clcgvsgizgxhfzvf ...
This is an URL that is fetched via Ajax by a Javascript function in response to the menu item click. Also, note the x argument - it is dynamically added and only by that specific function. This means that the bot now emulates a user clicking around the site and then seeing which actionable items lead to which additional pages.

このURLはユーザがメニューをクリックしたときに実行されるJavaScript関数内でAjaxによって呼び出されるものだそうです。つまり、Botがまるでユーザがクリックしたかのようにエミュレートし、そしてそれによりどんなアイテムが表示されるのかを見ている、ということになるわけです。

すごいな、Google Bot。つうか、何がなんだかわからない世界に突入している。

ということで、静的だろうと動的だろうと有益なページを提供していればGoogleにちゃんと評価されるということで、これからもがんばっていこうと思います。

Google Bot now crawls arbitrary Javascript sites

blog comments powered by Disqus

2011年アルファブロガー受賞

新着DVD

モバイル

Powered by Movable Type 6.1.2

ブログ内検索

BlogPeople ReviewMe!

このサイトのレビューとか応援コメントを書いてもらえると励みになります。

Affi☆List for Amazon

バナー広告

このブログ記事について

このページは、nagasawaが2012年5月16日 20:48に書いたブログ記事です。

ひとつ前のブログ記事は「2012年8月1日から東証銘柄がリアルタイム株価になります(無料)」です。

次のブログ記事は「5月17日のラッキーさん」です。

最近のコンテンツはインデックスページで見られます。過去に書かれたものはアーカイブのページで見られます。