RSS Auto Discovery

あるサイトの RSS を自動で探し出すにはどのようにすればよいでしょう？ "Syndicate This Site (XML)" のリンクを見て探す、でしょうか。デザインをカスタマイズしていたらどうでしょう？

HTML の link タグを使用すると、RSS の URL を機械的に抽出することができます。今回はこの RSS Auto-Discovery と呼ばれる手法を実装してみます。

RSS の埋め込み

しかしデザインをカスタマイズした Weblog だったりするとなかなか不便(*1)。数が多いときには RSS Aggregator が自動でとりこんでくれないものかな、と考えるのがエンジニア人情というものです。で、やはり考えた人がいました。

• Do any RSS aggregator use the HTML LINK Element? [matt.griffith]
• RSS auto-discovery [diveintomark.org]

<link rel="alternate" type="application/rss+xml"
 title="RSS" href="{URL for RSS}" />

サンプルコード

# 特定のタグと属性を抽出する場合は HTML::Parser より HTML::TokeParser

HTML のパースをする CPAN モジュールというと、HTML::Parser モジュールが標準的ですが、今回のように特定のタグと属性を抽出する、という目的にはあまり向きません。またこの程度の簡単な HTML 破片であれば、正規表現を使っても十分実用には耐えるとは思いますが、link タグ中の属性の順番が変わったら、など考えるといろいろやっかいですので、HTML::Parser へのトークン毎のインタフェースを提供するラッパー、 HTML::TokeParser を使用しています。

use LWP::Simple;

my $url = shift;
my $rss = discover_rss($url);

if ($rss) {
    print "RSS for $url\n=> $rss\n";
} else {

}

# URL から RSS を Auto-Discovery して返す
# 複数の RSS Feed には未対応
sub discover_rss {
    my $url = shift;

    # HTTP GET
    my $html = get($url) or die "Can't get $url";

    # HTML::TokeParser で link タグを取得
    my $parser = HTML::TokeParser->new(\$html);

$attr = {
  rel => 'alternate',
  type => 'application/rss+xml',
  href => 'http://example.com/rss.rdf',
  title => 'RSS',
};

実行例

% ./discover_rss.pl http://blog.bulknews.net/cookbook/
RSS for http://blog.bulknews.net/cookbook/
=> http://blog.bulknews.net/cookbook/blosxom/index.rss10

% ./discover_rss.pl http://www.movabletype.org/
RSS for http://www.movabletype.org/
=> http://www.movabletype.org//index.xml

ちなみに Movable Type や blosxom では、デフォルトのテンプレートで、この RSS Auto Discovery に対応しています。その他のツールでも、自らテンプレートを編集することができれば、対応することができます。

HTML::RSSAutodiscovery

use HTML::RSSAutodiscovery;

my $url  = "http://www.diveintomark.org/";
my $html = HTML::RSSAutodiscovery->new();
print $html->parse($url)->[0]->{href}, "\n";

Listings

#!/usr/local/bin/perl -w
# RSS Auto-Discovery の実装

use strict;

# 特定のタグと属性を抽出する場合は HTML::Parser より HTML::TokeParser
use HTML::TokeParser;
use LWP::Simple;

my $url = shift;
my $rss = discover_rss($url);

if ($rss) {
    print "RSS for $url\n=> $rss\n";
} else {
    print "No RSS discovered for $url\n";
}

# URL から RSS を Auto-Discovery して返す
# 複数の RSS Feed には未対応
sub discover_rss {
    my $url = shift;

    # HTTP GET
    my $html = get($url) or die "Can't get $url";

    # HTML::TokeParser で link タグを取得
    my $parser = HTML::TokeParser->new(\$html);
    while (my $token = $parser->get_tag("link")) {
        my $attr = $token->[1];

        # <link rel="alternate" type="application/rss+xml" href="" />
        # title 要素がないサイトもいくつかあったので甘い判定
        if ($attr->{rel} eq 'alternate'
            && $attr->{type} eq 'application/rss+xml') {
            return $attr->{href};
        }
    }

    return;
}

posted at: 14:45 by miyagawa | category: RSS | permalink
Trackback (4) | Printer Friendly | Email this blog