[SIMILAR] WITH 13814 現回 WITH 7748 bayespam WITH 7080 token WITH 6261 directory WITH 5991 tokenizer WITH 5492 数フ WITH 3722 hash WITH 2830 回数 WITH 2574 出現 WITH 2458 dir WITH 2214 file WITH 2046 致命 WITH 1973 命的 WITH 1765 ル中 WITH 1510 open WITH 1334 合計 WITH 771 を求 WITH 738 複数 WITH 718 疑問 WITH 655 相変 WITH 648 ァイ WITH 594 求め WITH 472 イル WITH 440 の出 WITH 387 ファ WITH 294 最後 WITH 197 コー WITH 147 ード WITH 1 [ WITH 1 spam WITH 1 ] WITH 1 bsproc の検索結果 93 件中 1 - 10 件目 (3.398312042 秒)
0.2.10が出ているが、相変わらず、疑問なコードがbayespam.rbにある。 def token_freq_dir(directory) hash = {} Dir.open(directory) do |dir| dir.each do |file| next if file =~ /^\./ File.open(directory + '/' + file) do |f| hash.update(tokenizer(f)) 複数ファイル中のtokenの出現回数の合計を求めて ...
動作は以下のようになる。 --add-spam spam中のtokenの出現回数を、データベースに加算する。 --update データベースに入っている全tokenについて、今までの出現回数からspam確率を計算する。 --add-spam --update spam中のtokenの出現回数を、データベースに加算し、そのspam中のtokenについてのみ、spam確率を ...
_ (スコア:7244)
以下のような方針でbsfilterを作ってみた。 基本的には、ベイジアンフィルタの改善 --- Better Bayesian Filteringに従う。 単語の定義として1から5まで挙げられているが、4は面倒なので無視。 5については、 subject to from unix-from, return-path url, mail addressっぽい奴 という分類をする。 還元はしな ...
_ (スコア:6442)
漢字にマッチしなくなってたのをデバッグ メイルのヘッダ中のtokenは、ヘッダごとにカウント Receivedのタイムスタンプは、いい加減に捨てる。Message-Id、Date等も捨てる それっぽいのは、base64 decodeする でも、MIMEの解釈はしない 20文字以上のtokenは捨てる tokenizerがぐちゃぐちゃになったので、要修正 ...
_ (スコア:4064)
Invalid Text BBSでの議論にもとづき、-c、-sでfindするのを止めた。 今後は、-c ~/Mail/inboxでは駄目で、-c ~/Mail/inbox/*とする必要がある。 ~/.bsfilter/bsfilter.confを読むようにした。--config-fileで指定することも出来る。--homedirと、--config-fileで、ハイフンの有無が違うのが、気持ち悪い。--co ...
_ (スコア:3441)
どうしようかしら? 激しくツッコミ希望。 ChaSenあたりを使ってみる。 -u高速化。--incrementalオプションを付けて、"-u -c --incremental"とすると、メイルに出てきたtokenについてのみ、確率テーブルを計算し直す。-aも早くなる。 いっそのこと、確率テーブル廃止? SPAM判定のときに、その場でtoken database ...
_ (スコア:3429)
Invalid Text-u -c、-u -s、-a等のときに、メイルに出て来てたtokenについてのみ、確率データベースを更新するように変更。-c等と一緒ではなく、-u単独の場合は、従来通り、全tokenについて再計算する。 の、1、2は終了したつもり。 ...
_ (スコア:3292)
category + "*" + tokenという文字列がハッシュのキーで目覚めが悪かったので、hash[category][token]のように修正 unix from, from, to, cc, subject, received, reply-to, return-path, content-transfer-encoding, content-type以外のヘッダを捨てるように変更 相変わらずMIMEの解釈はしないが、base64、quo ...
_ (スコア:3285)
KAKASI+NetBSDで障害報告。怪しいのは以下の近辺。 拡張ライブラリの問題で、私には障害再現/デバッグ出来ない予感。とりあえず、MeCabでなくKAKASIで生活してみよう。 Kakasi::kakasi("-oeuc -w", str).scan(/\S+/).each do |token| token.gsub!(Reg_not_kanji_katakana, '') ...
_ (スコア:3285)
Invalid Text --show-new-token追加。新たに登録されたtokenが表示される。 Content-Type: Message/Rfc822なパートのヘッダ部分が、本文扱いだったのをいい加減に修正。ソースが0.2procmailくらいになったので、なんとかしたい。 ...
_ (スコア:3285)
_ (スコア:10000)