関心空間の RSS を作成する

Weblog テクノロジを解説する上で欠かせないのが、RSS という技術です。RSS は Netscape が My Netscape Portal に採用したシンジケーション専用の XML フォーマットで、現在では Weblog にとどまらず、ニュースサイト等のサイト更新情報をシンジケートするデファクトスタンダードになりつつあります。

今回は、RSS 作成の一例として、関心空間 の HTML をパースして、RSS を生成してみます。

関心空間

RSS の種類

実際には、これ以外にもいくつかの亜流があり、またこれらの対立やベンダー依存の体質を打破すべく新しい XML フォーマット Atom (*2) の実装も進められています。この辺のいきさつについては、CNET Japan - Blog戦争: RSSはどこへ行く? などを参照してください。

今回の関心空間 RSS では、最もシンプルな 0.91 を採用します(*3)。

Perl で RSS の生成、パースをするには XML::RSS を使用します。これ以外の選択肢は、現時点では考えられません。RSS 0.91, 1.0, 2.0 に対応しており、また namespace などによる拡張もサポートしている、デファクトスタンダードな RSS モジュールです。XML::Parser モジュールを内部で使用しているため、expat のインストールが別途必要です。

サンプルコード

use encoding 'euc-jp', STDOUT => 'UTF-8';

また、最終的に出力する RSS は UTF-8 でエンコードする必要があるため、STDOUT に UTF-8 を指定しています。これにより、ファイル内に EUC-JP で記述した文字列は、Perl 内部で Unicode 文字列として扱われ、STDOUT に print する際には自動的に UTF-8 にエンコードされることになります。

use Encode;
use HTML::Entities;
use LWP::Simple;
use XML::RSS;

(my $Regex = <<'REGEX') =~ tr/\n//d;
<A href="(index\.php3\?mode=keyword&id=\d+)">
<B><FONT class=css3>(.*?)</FONT></B>
<IMG .*?></A>
<FONT size="-1" class=css2>
　\d+/\d+<!-- .*? --><img .*?>
　\[\d+\] .*?
<BR>
(.*?)<BR>
REGEX
    ;

(my $Regex = <<'REGEX') =~ tr/\n//d;

my $rss = XML::RSS->new(
    version => 0.91,
    encode_output => 0,
);

$rss->channel(
    title    => 'kanshin.com RSS',
    link     => 'http://www.kanshin.com/',
    description => "関心空間 最新キーワードのRSS",
    language => 'ja',
);

my $html = decode('Shift_JIS', get($URL));

while ($html =~ m/$Regex/gs) {
    $rss->add_item(
        link  => encode_entities("http://www.kanshin.com/$1"),
        title => $2,
        description => normalize($3),
    );
}

また description 属性には、全角スペースや改行が含まれているため、後述する normalize 関数により除去します。

if ($ENV{GATEWAY_INTERFACE}) {
    require CGI;
    print CGI::header('text/xml; charset=utf-8');
}

print $rss->as_string();

print encode('UTF-8', $rss->as_string());

sub normalize {
    local $_ = shift;
    tr/　\r\n//d;
    return $_;
}

実行例

% ./kanshin_rss.pl
<?xml version="1.0" encoding="UTF-8"?>

<!DOCTYPE rss PUBLIC "-//Netscape Communications//DTD RSS 0.91//EN"
            "http://my.netscape.com/publish/formats/rss-0.91.dtd">
...
</channel>
</rss>

% ./kanshin_rss.pl > kanshin.xml

AddType text/xml .xml
AddDefaultCharset utf-8

また kanshin_rss.pl を CGI を実行できるディレクトリ(cgi-bin など)に格納して、直接ブラウザからアクセスして RSS を出力することもできます。

まとめ

Listings

#!/usr/local/bin/perl -w
# kanshin_rss - generate RSS for kanshin.com

use strict;
use encoding 'euc-jp', STDOUT => 'UTF-8';
use Encode;
use HTML::Entities;
use LWP::Simple;
use XML::RSS;

my $URL = "http://www.kanshin.com/index.php3?mode=search";

(my $Regex = <<'REGEX') =~ tr/\n//d;
<A href="(index\.php3\?mode=keyword&id=\d+)">
<B><FONT class=css3>(.*?)</FONT></B>
<IMG .*?></A>
<FONT size="-1" class=css2>
　\d+/\d+<!-- .*? --><img .*?>
　\[\d+\] .*?
<BR>
(.*?)<BR>
REGEX
    ;

my $rss = XML::RSS->new(
    version => 0.91,
    encode_output => 0,
);
$rss->channel(
    title    => 'kanshin.com RSS',
    link     => 'http://www.kanshin.com/',
    description => "関心空間 最新キーワードのRSS",
    language => 'ja',
);

my $html = decode('Shift_JIS', get($URL));
while ($html =~ m/$Regex/gs) {
    $rss->add_item(
        link  => encode_entities("http://www.kanshin.com/$1"),
        title => $2,
        description => normalize($3),
    );
}

if ($ENV{GATEWAY_INTERFACE}) {
    require CGI;
    print CGI::header('text/xml; charset=utf-8');
}

print $rss->as_string();

sub normalize {
    local $_ = shift;
    tr/　\r\n//d;
    return $_;
}

posted at: 20:19 by miyagawa | category: RSS | permalink
Trackback (7) | Printer Friendly | Email this blog