Bulkfeeds: SPAM ブラックリストの公開、Submission API と MT プラグイン

Bulkfeeds では、ボランティアによる SPAM サイト登録 と、自作の SPAM フィルタによるブラックリストの強化を行ってきましたが、API による公開の準備ができたのでお知らせします。

今回の API および機能拡充は以下のリストから構成されます。

1. DNS によるブラックリスト問い合わせ API の公開（ベータ）
2. Movable Type の JunkFilter フレームワークと連携した自動登録
3. REST による ブラックリストへの URL 登録 API の公開

DNS によるブラックリスト問い合わせ

Report SPAM ページから登録していただいたデータや、こちらの SPAM フィルタにひっかかったデータを DNSBL 形式でインポートし、定期的に更新する仕組みを用意しました。Bulkfeeds SPAM Blacklist ページに詳細が記載されていますが、コメントや Trackback 内に見つかった URL に対して、[domain].rbl.bulkfeeds.jp というドメインの A レコードを調べることによって、ブラックリストへの問い合わせが可能です。MT 3.2 と SpamLookup を利用している場合は、rbl.bulkfeeds.jp を Domain Blacklist Services に追加するだけです。

(SPAM Blacklist ページにあるように、blog.livedoor.jp などユーザレベルディレクトリごとの SPAM を判別する場合には特殊な A レコードを引く必要があります）

Movable Type の JunkFilter フレームワークと連携した自動登録

せっかくサービスを用意しても、日々フレッシュなデータに更新できなければ意味がありません。Report Spam や、Bookmarklet を利用して手動で登録していただくこともできますが、MT 3.2 の SpamLookup で検出された URL や、皆さんが手動で Junk 行きにした URL については、自動で Bulkfeeds に ping （レポート）できれば面白いのではないかと思い、プラグイン SpamSubmission を作ってみました。SpamSubmission-0.90.zip からダウンロードして plugins フォルダに放り込んでください。開発版を追いかけたい方は、svn で http://svn.bulknews.net/repos/public/SpamSubmission/trunk から。

plugins にインストールしたら、SYSTEM OVERVIEWS → PLUGINS から、Bulkfeeds Developer API Key もしくは TypeKey のユーザ・パスワードを入力してください。(TypeKey の認証は毎回 TypeKey を経由するので、たくさんの SPAM を食らう方は Bulkfeeds API Key の利用をオススメします）

これで、日々 MT の Junk フォルダに放り込まれた Comment / Trackback に含まれていた URL が自動的に Bulkfeeds の Blacklist にレポートされます。つまり、このプラグイン (SpamSubmission) をインストールした MT がいくつもあれば、

* SpamSubmission をインストールした Blog のどれかにスパマーが Comment / Trackback
* SpamLookup もしくは手動で Junk フォルダ入り
* と同時に、Bulkfeeds に通知
* 数分～数時間後、DNSBL (rbl.bulkfeeds.jp) に反映
* SpamLookup Lookup で DNSBL を参照、Score を -1

という流れで、半自動的に SPAM を撃退することが可能なんじゃないかなぁと。そんなにうまくいくかはわかりませんが、やってみる価値はあるかなぁと思っています。(現状、DNSBL の汚染を防ぐため、当面の間 RBL への反映は完全自動ではなく一部手動を介します）

UPDATE: また、過去に蓄積した SPAM をレポートするためのプラグイン action も定義してみました。レポートしたい Junk Comments / TrackBacks を選択して、More Actions... から "Report SPAM" を選べば OK です。

REST による ブラックリストへの URL 登録 API の公開

上記プラグインを実現するため、SPAM Submission の REST API を実装しました。apikey もしくは TypeKey 認証トークンと url パラメータを POST することで、アプリケーションから SPAM Blog の URL を登録することができます。MT 以外の Blog ツールからの登録プラグインや、Greasemonkey などと連携したツールなどの作成は歓迎です。