Bulkfeeds のチューニングを何点か。
MySQL のパラメータをチューニング。SQL 文ばっかり注目してて、mysqld のパラメータはほぼデフォルトで運用してた。。 メモリをふんだんにつかうように table_cache とか key_buffer とか調整。
Ping サーバのアグリゲートと、RSS のクローリングを並列動作可能なように作り直した。これで Ping 拾い漏れがかなり解消されるはずです。（きのうの新着が多くなっているのは、いままで漏れていたやつが拾えるようになったから）
インデクシングにまだまだ時間がかかっていますが、これもボトルネックがわかったのでじきに対策する予定です。数百万件のデータがはいっている同じテーブルに対し、Web から大量SELECT しつつ、クローリング側で UPDATE と INSERT が同時にかかっています。これをレプリケーションして分散させれば。。