« 検索語の候補をリアルタイム表示する「Google Suggest」 | メイン | 12月14日のラッキーさん »

 2004年12月13日

BlogPeopleリンクリスト不具合修正と作業内容に関する報告

昨日の記事でお知らせしたBlogPeopleのリンクリストに関する不具合問題ですが、対応しましたので、その原因と対応内容をご連絡します。

原因:
登録サイト数が11万を超え出したあたりからリンクリストの作成に時間がかかるようになり、規定時間内に処理が完了せず、完了しないまま次の作業を開始するため更新情報がリストに反映されないリンクリストが存在するようになった。

対応:
1.過去1週間、リンクリストがロードされていないサイトはリンクリスト作成の対象外にしました。この対象外リストは1日に1回作成されます。これにより無駄なリンクリストを作成しないようにしました。ただし、ロードがあった場合はまた次の日から作成を開始します。

2.リンクリストはこれまで20分に1回更新していたのですが、これを30分に1回にしました。ただし、リンクリストに新しいサイトを追加したり、設定内容を変更したり、リンクリスト用のコードを再生成したときなどはそのタイミングでリンクリストを更新します。

===

「1」に関しては、ブログ作ってちょっと記事書いて、その時にBlogPeopleのリンクリストを貼り付けたけど、その後放置、検索エンジンからもアクセスがない、というサイトが結構あって、それでもそういうサイト用に律儀にリストを更新していたのですが、それをすっぱりやめました。

BlogPeopleではリンクリスト作成部分と配信部分でサーバが別れているのですが、配信に関してはApacheに任せっきり、つまりApacheのキャパ次第なのですが、ここではまだまだ余裕があります。

問題なのはリンクリスト作成部分です。信じられないかもしれませんが、数百というレベルではなく500以上、人によっては1000近くのサイトをリンクリストに登録している人がいます。で、リストを作成するときに、表示順の条件が「最新順」だったりすると、例えば1000サイト分の更新時間をデータベースからひっぱってきてそれを更新順にソートし、次に設定された「表示数」にしたがって最新からその決められた数だけ残し、そして次に「○時間以内の更新だったら「更新」マークの「○○」をサイト名の前または後ろにつける」という処理をしてからJavaScriptのコードを生成していくわけです。

これをそのままやると非常にベタな処理になるのでキャッシュをかませたりして高速化を行うわけですが、まあなんにしろ限度があります。今回は「登録できるサイト数の制限」ということはおこないませんでしたが、次回はやるかもしれませんのでその時はよろしくです。

1000サイトも登録しても読めないと思うんだけど、まあ、人にはそれぞれ事情があるんでしょうな。

「2」に関しては、20分も30分もあまり変わらんだろうという判断とまた20分間隔の更新だと近いうちにまたパンパンになるであろうことが予想されるためです。30分待てない、という人にはRSSリーダの使用をおすすめします。

ちなみにトラックバック・ピープルのユーザ増加も原因ではないか、という記事も読みましたが、トラフィックには多少影響あるもののそれはあまり重要ではありません。トラックバック・ピープルのリストは10件と決まっているのと、トラックバックがあったタイミングでリストを更新すればいいので作成の負荷はほとんどかかりません。

ということで、以上よろしくお願いします。メールやトラックバック・ピープルで不具合を報告していただいた方、ありがとうございました。


 投稿者 nagasawa : 2004年12月13日 15:25

 トラックバック

このエントリーのトラックバックURL:
http://www.aivy.co.jp/cgi-bin/naga/MT3/mt-tb.cgi/2200

 コメント

10.表示するリンクサイト数
の数を少なめに設定すると、表示も速くなり、負荷も減りますよね、、?

投稿者 tomono : 2004年12月13日 18:26

tomonoさん、こんにちは、

>の数を少なめに設定すると、表示も速くなり、負荷も減りますよね、、?

その場合は配信するときの転送量が減るので、配信側の負荷は減りますが、今回の場合はあまり関係ありません。

リンクリストをJavaScriptで取得している場合、表示(リストの展開)はクライアント側のブラウザになりますので、表示数が少なければ展開のクライアント側の負荷は下がりますし、表示も速くなります。

リンクリストにあんまり登録しない、ってのが一番効果的ですが、そりゃしかたがないですよね(爆

投稿者 nagasawa [TypeKey Profile Page] : 2004年12月13日 20:59

 コメントしてください




保存しますか?

(書式を変更するような一部のHTMLタグを使うことができます)