Similarity Search の負荷軽減に jscache

Bulkfeeds Similarity Search をはじめとして、Javascript 型でページにはりつける系のサービスはいくつかありますが、大きな問題点として、

• js をフィードしているサーバの負荷にページの表示が引きずられる

という問題がありました。Bulkfeeds でもキャッシュして出力するなどの努力はしていて、2度目以降は高速にサーブできるはずなのですが、著名なサイトでのアクセスが多かったり、検索結果のRSSへのアクセスが集中したりすると Apache のスロットを食いつぶしてしまい、Similarity Search 設置側のページで待たされることなんかもたまに発生していました。

この問題を解消するために jscache という CGI スクリプトを作成しました（別名: くっつきキャッシュ）。このスクリプトのやっていることは単純で、リモートの js を取得して、サーバ側にキャッシュして保存。キャッシュ有効期間中は自分のサーバからコンテンツを吐き出すようにするものです。これならホスト側のサーバ負荷に表示が引きずられることはありません。レンタルサーバなどでCGIが利用できる環境にある方は、利用してみてください（インストールが簡単になるよう、モジュールを一切使用していません）。

Bulkfeeds Similarity Search を例にして設置方法を解説します。

1. jscache をダウンロードして CGI を実行可能なディレクトリに配置します。(mod_perl でも動くはずです)
2. 20 行目の $remote_url = "http://bulkfeeds.net/app/similar.js"; とします。
3. キャッシュ用のディレクトリを作成、chmod go+w して、24行目の $cache_dir に設定します。
4. 27 行目 $cache_ttl にはキャッシュする時間を設定します。60分ぐらいが適当でしょう。
5. LWP がインストールされていない場合、34 行目 $get_app に wget や lynx などのコマンドラインを入力します。

MT の Individual Entries （または他のBlogツールの該当テンプレート） の http://bulkfeeds.net/app/similar.js の部分を http://あなたのサーバホスト名/jscacheの設置場所 に変更して、リビルドします。これで、js の表示はあなたのサーバから行われるようになり、Bulkfeeds 側のサーバ負荷に影響されなくなります。（キャッシュがきれた場合などのアクセスはのぞく）

動作が確認できたら、設定変数 $debug を 0 にしておけばエラーがうるさくならずにすみます。

FAQ

Bulkfeeds でしか使えませんか？

$remote_url 変数を変更すれば他の js 型貼り付けサービスでも使えると思います。（というかただのプロキシ＋キャッシュスクリプトなので js じゃなくてもホントは使えます）

js １個につき 1 jscache ってことですか？めんどくないですか？

そういうことになります。URL もパラメータ化してもいいんですが、open proxy として悪用される可能性があるので、一応ソースに設定する形にしてあります。やりたい人は $remote_url を $ENV{PATH_INFO} あたりから取得するように改良すればできます。

$remote_url = $ENV{PATH_INFO};
$remote_url =~ s!^/!!;

こうして、http://ホスト/jscache/http://example.com/hoge.js として使えばよいでしょう。

これを使うとどういうメリットがあるのかよくわかりません。

Bulkfeeds （や他の js 吐き出しサービス） が重いときでもあなたのページの表示が遅くなりません。またあなたのサイトが著名なサイトでアクセスが多い場合にはぜひ利用してもらえると Bulkfeeds 側が負荷が減って助かります。

将来的にこれを使わないと Similarity Search が使えなくなったりしますか？

その予定はないです。

Posted by miyagawa at May 7, 2004 08:35 PM | Permalink | Comments (3) | TrackBack(41)