Wikiとサイト一括保存ソフト

 アクセスログの統計を見たら前から気になっていた事があったので調べてみました。

 何が気になっていたのかというと、

*.osk.mesh.ad.jp - - [07/Nov/2009:19:18:14 +0900] "GET /untitled HTTP/1.1" 404 13 "http://wiki.oblivion.z49.org/?DaRk%208rotherI-%7C%2000%20D" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ja; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5 GTB5 (.NET CLR 3.5.30729)"

 こんなアクセスです。どこが変なのかというと”GET /untitled HTTP/1.1″というところ。サーバにもページもリンクもされていないはずの”/untitled”ってファイルをリクエストしてきているのです。他には延々と、

*.osk.mesh.ad.jp - - [07/Nov/2009:19:16:03 +0900] "HEAD /?Forum%2F5%2FlogCurrent HTTP/1.1" 200 0 "http://wiki.oblivion.z49.org/" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ja; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5 GTB5 (.NET CLR 3.5.30729)"
*.osk.mesh.ad.jp - - [07/Nov/2009:19:16:04 +0900] "GET /?Forum%2F5%2FlogCurrent HTTP/1.1" 200 16634 "-" "Mozilla/5.0 (Windows; U; Windows NT 5.1; ja; rv:1.9.1.5) Gecko/20091102 Firefox/3.5.5 GTB5 (.NET CLR 3.5.30729)"

こんな風にHEADリクエストとGETリクエストをかましている様子。結局このアクセスは一時間ほど継続し、総リクエスト3,905を叩き出していました(因みにObWikiJPの総ページ数は600弱)。

 このアクセスは何なのか?恐らくサイト一括保存ソフトです(GetHTMLとか)。全てのページを嘗め回すようにアクセスしている様と言い、ページだけではなく編集用リンクにもリクエストを飛ばしてきていることといい、上記のように頭の悪いアクセスパターンといい、たぶん間違いは無いでしょう。

 サイトの内容を手元にとって起きたい気持ちは良く分かりますが、問題はそれに用いる手段です。以前あまりにもタコな設定のサイト一括保存ソフトに襲撃され、一晩で1GB近くも転送量を持っていったことがありました。ありえないっ!という訳でそれ以後はサイト一括保存ソフトはお断りする(簡易的)設定にして有ります。wikiログの形でたった4MBしかないサイトで1GBも転送量をたたき出されたら笑うしかないですもの。

 完全に禁止するとは申しません。しかし、きちんとしたソフトで、きちんと設定をしてから行ってください。なぜならPukiWikiに代表されるようなCGIの類はサイト一括保存ソフトで処理するには向いていません。少し考えれば多分理由は理解できると思いますが、保存されたデータをご覧になればそうしなくとも理解できるでしょう。まともに保存されていない筈です。
サイト側としても、転送量の問題も有りますが、アプリが放置されたまま持続的リクエストの無限ループに陥る事も多く、それがサーバ側のリクエスト数制限と絡まり、他の善意の閲覧者がにもエラーが生じて閲覧できなくなる可能性が有ります。

 以上、そういう訳でそういうソフトを使われる方は十分な注意を願いしたいところであります。
たぶんここはご覧になってないかもしれませんが…。

 あと、この場を借りまして(分かる方にだけ分かる書き方で)。
nek-12さん、かろかろさん、kanieさん、nmkさん、有難うございます。

Wikiとサイト一括保存ソフト」への2件のフィードバック

  1. Irrlicht

    Wikiの運営ページでレスを行いましたのでここではふれません。
    尚、当方の管理サイトは投稿があった場合告知メールを飛ばすようにしてあり、ローカルPC上では定期的にメールチェッカを走らせています。よってマルチポストを行う必要は無いと申し上げておきます。

    返信

コメントを残す

メールアドレスが公開されることはありません。