« CNET Japan にインタビュー記事が掲載されました | メイン | フレームで構成されたサイトを RSS 対応にする方法 »
2005年10月21日
クローラーを If-Modified-Since 対応でトラフィックが 2/3 に減少
MyRSS.jp のクローラーは「1～3時間に一回だし、動的ページも多いし、キャッシュも使っているので」ということで、長らく If-Modified-Since 対応（Webの更新有無をサーバーにたずねるオプションですね）していなかったのですが、先日効果を疑いながら 304 対応を実施してみました。
すると・・・
と、トラフィック （クローラーなので Inbound: 緑の部分です） が 2/3 に減少。
・・・こんなに効果があるのなら早くからきちんと対応しておけばよかったです。
＃「クローラーが 304 対応していないことがそもそもあり得ない」、というお叱りも受けそうで、ちょっとびくびくしながらのエントリなのですが・・ ^^;
＃そしてRSSの「配信」については、既に対応していましたが（言い訳）
ちなみにページ配信側（クロールされる側）については、通常静的なコンテンツは If-Modified-Since 対応しているので何も気にすることはないのですが、一部拡張子 (.rdf) などについては未対応だったりすることもあるようです。
管理者の方、一度確認されてみてはいかがでしょうか。
ご参考： IM::MEMO: rdf拡張子とIf-Modified-Since
投稿者 aka : 2005年10月21日 21:08 / 2005年10月 / (～2006) My RSS について
トラックバック
このエントリーのトラックバックURL:
http://133.242.136.64/mt-tb-sf.cgi/248
コメント
コメントしてください
