[SIMILAR] WITH 7748 15token WITH 5991 tokenizer WITH 5599 部使 WITH 5293 可変 WITH 2985 nabeken WITH 2281 method WITH 1103 提案 WITH 1066 判定 WITH 1057 固定 WITH 837 デフ WITH 557 ォル WITH 452 全部 WITH 360 ルト WITH 276 フォ WITH 223 最近 WITH 134 ミ!! WITH 122 ツッ WITH 117 ッコ WITH 115 コミ WITH 1 !! WITH 1 ( WITH 1 ) WITH 1 近は WITH 1 はデ WITH 1 トが WITH 1 が"- WITH 1 "-- WITH 1 rf WITH 1 " WITH 1 なの WITH 1 ので WITH 1 で、 の検索結果 380 件中 1 - 10 件目 (0.141674684 秒)
最近はデフォルトが"--method rf"なので、tokenizerが拾ってきたtokenを全部使って判定してます。 "--method g"については、15token固定なので、これを可変にという提案がありました。どうしよう... ...
たださんのところで、false positive多発である。以下を試して頂けません? -v付きで実行。デフォルトのPaul Graham方式の場合、キーとなった15tokenのSPAM確率が表示される。その値が妥当なものか、表示されたtokenがメイルヘッダばかりだったりしないか、確認。 メイルヘッダばかりの場合は、-H付きで実行。 - ...
_ (スコア:5965)
えむもじらの"training.datの構造"を参考に、training.datをダンプするdump_mozdatを作った。tokenizerの仕様は、大筋、 連続したひらがな、カタカナは1token 漢字は1文字で1token となっている模様。 NAME dump_mozdat SYNOPSIS dump_mozdat [--export-clean|--export-spam] training.dat DESCRIPTION dump tr ...
_ (スコア:4580)
--pop-max-size number numberより大きなメイルは、判定、学習の対象にしない。単にバイパスする オプション名を微妙に変更 単位をバイトに戻した バイパスする際は、pop daemonからMUAへパイプラインで渡す。今までは、メイル全体をbsfilterが受け取った後、MUAに渡していた デフォルト値は30000(byte)。0はサ ...
_ (スコア:4556)
漢字にマッチしなくなってたのをデバッグ メイルのヘッダ中のtokenは、ヘッダごとにカウント Receivedのタイムスタンプは、いい加減に捨てる。Message-Id、Date等も捨てる それっぽいのは、base64 decodeする でも、MIMEの解釈はしない 20文字以上のtokenは捨てる tokenizerがぐちゃぐちゃになったので、要修正 ...
_ (スコア:4536)
0.2.10が出ているが、相変わらず、疑問なコードがbayespam.rbにある。 def token_freq_dir(directory) hash = {} Dir.open(directory) do |dir| dir.each do |file| next if file =~ /^\./ File.open(directory + '/' + file) do |f| hash.update(tokenizer(f)) 複数ファイル中のtokenの出現回数の合計を求めて ...
_ (スコア:4536)
-aが実用的でないので改造。 -aの場合、exitしてspamか否かをstatus codeで返す直前に、子プロセスをfork。親がexitしたあとに、子がデータベースの更新を行なう。子の処理時間は一見、見えない。 --synchronous-auto-updateは、旧-aに相当。forkせずに、データベースの更新をしてからexit。 tokenizerも少し変 ...
_ (スコア:4536)
Invalid Text気になるわけで。 H.Okada bsfilter 15というのはPaul Grahamが出してきたマジックナンバーなので、調整する余地はあるかも。 しゃれにならない日々。 対抗馬のmpは、blacklistを自動的にダウンロードする仕組みが付いている。Vipul's Razorと同じアプローチ? mp_spammer.txtには、"^from:.*@earth ...
_ (スコア:2400)
spam特有のノイズに弱くなるような気がして、--ignore-after-last-atag --ignore-plain-text-partは使っていないのだが、本当にそうなのかベンチマークした。使っても使わなくても一緒、というのが手元のデータでの結論。 TESTHOME="/home/nabeken/tmp/def" OPTIONS="-v --homedir $TESTHOME" rm -r $TESTHOME ...
_ (スコア:2376)
_ (スコア:10000)