Webクローラーのクラウド型サービスを提供する「80legs」というサイトがありました。サインインしていないので詳細はわかりません。ごめんなさい。とりあえずこういうのあるよ、ってことで。

80legs is a service platform for crawling and processing web content. Our service is very powerful and very affordable.

機能的には、

1．優れたパフォーマンス：20億ページ/日のクローリング能力
2．簡単に使え、しかも高いカスタマイズ性を提供：数分で独自クローラーを作成可能
3．手頃な価格：$2/百万ページ、 $0.03/CPU-Hour

というものです。クロール用のマシンとして5万台用意しているそうです。

クローラーに条件を与えてページを収集したとどう解析するのか、については最初からいくつか解析アプリが用意されているようですし、またJavaを使って独自の解析アプリを作ってそれを実行させることもできるようです。

何かの目的でWebページを収集して解析しなきゃならないような場面に遭遇したときにいちいちクローラーを作らなくてよい、そしてすぐに大量にページを収集できる、という点がメリットでしょうか。

もちろん既に世の中に存在している無料のクローラーを自分のサーバ/回線で運用すれば無料なので、ケースバイケースって感じでしょうか。

無料のクローラーにはPythonで書かれた「Scrapy」というのもありますし、同じようなサービスとしてはparselets.comもあります。目的があえばYahoo Pipesも有効かもしれません。

が、そういう状況なんですが、私的にはこの80legsに興味があります。2百万ページあれば十分なので$4、1日CPU使って$0.72ですもん。1日$5だとして月で$150ですからね。

誰か使ってみないかなあ。