80legs Subscription Plans and Free Web-Crawling « The 80legs Blog

以前「Webクローラーのクラウド型サービスを提供する「80legs」」というエントリーを書いたのですが、Webクローラーのクラウド型サービスを提供する「80legs」がベーシックプランを無料で提供し始めたようです。

ベーシックプランの内容は

* Free to use
* Normal crawling speed (up to 1 request/second/domain)
* Access to 80legs Web Portal
* 1 job running at a time
* Up to 100K crawled pages per job
* Low priority in 80legs job queue
* No recurring jobs allowed

というもので、これはこれまでは有料でした。

で、なんで無料にしたかというと、ここにその理由がありました。

80legs says it discovered that many users were crawling less than 100,000 pages. Since the Houston company was charging $2 per 1 million pages crawled, plus $0.03 for every CPU hour used, it wasn't going to make much money from those users.

百万ページに対して$2をチャージするんだけど、多くの人は10万ページしかクロールしないのでお金とれない、ってことのようです。

というかこういう状況って根本的に大丈夫なのかな、この会社。