今回も雑談です。

　当方は各種2ch関連ログを保管していますがその作業手順をめもっておきます。作業はWindows PC上で行なっており、CygwinやWin32版のNamazuを利用しています。

Janeのログからdatを取り出す
• わざわざログフォルダから取り出すのは面倒なので、スレのURIを指定すると当該のdatを持ってくるスクリプトを書いて利用
dat2htmlで変換等
• ついでにUP用のgzファイルも作成。及びローカルPC上で整理用ディレクトリに分配。情報ファイル(index作成用)も作成
Namazu
• Win32版Namazuを利用
Uploadと更新
• Cygwin版lftpを利用し作成済みインデックスとhtmlをUP。Web上に置いてある更新Scriptを叩いてログインデックスページを更新

大体こんな流れです。『人気の検索語』は手動で無く自動処理になっています(定期的に検索ログをローカルサーバにDL、その際にそのログを集計し、集計結果をWebにUPするという手順)。過去ログのNamazuインデックス作成もローカルサーバでやってもいいのでしょうが、現状で問題がないのであまり考えていません。

　そうそう、lftpですがチョコッと備忘録という事でメモメモ。
lftpとはコマンドラインで利用できるftpツールでコマンドをスクリプトで書くことで自動処理が可能というとても便利な機能が有ります。なのでこの更新で利用している訳ですが、3点ほど問題が有りました。
まずはサーバにつながらないという事です。Debugモードにすると以下のところで怪しげな挙動をしています。

---> AUTH TLS

これはxreaやCoreserverでは大丈夫なのにこのサイトがあるさくらではダメという不思議状態。サーバとの相性なんだろうなと思いつつ色々試したところ、

set ftp:ssl-allow off

でいけるようになる事が判明しました。いやはや。
次の一点は、ミラー(更新されたものだけをUp/Down)するようにしているのに何故か全ファイルを処理しようとしている事でした。この件は以前Google先生に訊いた所

set ftp:use-mdtm no
set ftp:timezone  -9

で何とかなる事が判明し、設定&上手く行きました(更新されたファイルだけがUPされるようになった)。ところが何時からかまたこの問題が再発、前ファイルがUｐ/Downされるようになってしまいました(v4.0.5で確認)。原因はなんだろうと考えて色々あさったのですが、上記の設定を除去する事で期待通りの動作になる事が判明しました。もしかすると上記設定を必要とした不具合が修正されたのかもしれません。
最後の一点は巨大ファイルの転送に失敗する事でした。失敗した場合は延々とリトライを繰り返すので無限ループです。ナンテコッタイ。ストップする条件が特定のサイズやファイルであれば究明が楽だろうにと思いましたが、ぜんぜんなし。これも色々調べた結果、以下の設定をコメントアウトする事で解決しました。

set net:timeout 30

何でこの設定をしたのか今では思い出せないのですが、おそらくこの30秒内に転送できないファイルが転送失敗したのだと思います。転送しているのにタイムアウトとは腑に落ちませんが、まぁそういうこともあるのでしょう。
結局現在の設定はこうなりました。

set ftp:passive-mode on
set ftp:timezone GMT
set ftp:ssl-allow off
set ftp:sync-mode off
#set ftp:timezone -9
#set ftp:use-mdtm no
#set ftp:use-mdtm-overloaded on
set mirror:set-permissions off
set net:max-retries 16
set net:reconnect-interval-base 10
set net:reconnect-interval-max 15
#set net:timeout 30

ついでに触れておくと、『mirror:set-permissions off』をonにしておくとローカルでのファイルパーミッションと同じ値にWeb上のファイルも設定されてしまいます。つまりローカルで000なんていうわけの分からないパーミッションだった場合、それが反映されて見れないページになっちゃうのです(これを以前やってしまった)。
使えれば良いや、で設定を深くは追い求めていませんので何か又問題があったら調べる事でしょう。lftpは多機能で良いのですが、時々はまる落とし穴があちこちに有るのでなかなか楽しい？ツールです。

　ついでで申し訳ないですが、この場を借りてお礼を。
Koniさん、nazoさん、ぷちカンパ有難う御座います。
nazoさんにはもっとあちこちでぷちカンパの件を強調するべきと助言されました。確かに気まぐれでやっているWeb管理ではないのでそうそう簡単に放り投げる気は無いのですが、基盤が安定する事は利用者にとっても安心要素になると思いますので近いうちに各Wikiにもそのお知らせを追加しようと思います。その助言もあわせ、有難う御座いました。
尚、気になる方が居られるかもなので触れておきますが、ぷちカンパは送っていただいた方の情報はコメントとお名前しか分かりません。