2007年7月18日

[SpamAssassin-JP 599] Re:spam 対策屋のあるべき姿って何??? (was Re: PDF添付SPAM)

** SpamAssassin メーリングリスト **
** 注意:このメールへの返信は SpamAssassin-jp へ行きます **
さとうです。

#昨日このメールを書いたのですが、ログ見るとちゃんと送られてるっぽいのに
#投稿されてない様子… false positiveならMLサーバちょっと狙いすぎ :)

On Sat, 14 Jul 2007 06:03:51 +0900 (JST)

Eisaku YAMAGUCHI <eisaku@xxxxx> wrote:
Subject: [SpamAssassin-JP 587] spam 対策屋のあるべき姿って何??? (was Re: PDF添付SPAM)

> Spamassasin 的話題でないかもしれませんが,spam 対策でも大活躍の,
> 旧知の stelth satoh 君の発言だけに(遠慮せず)ちょっとだけ.

 うい。一応他の人へ補足で僕と山口君は大学で同じクラスだった友人なんです。

> まっとうな spam 対策をするのであれば,
> spam 収集,対策評価環境は別途持ておかねばいかんと思います.
>
> false negative は,目にする spam が増えるだけで良いのですが,
> false positive は「仕事でメイルを使っている人には問題」ではないですか?

 それは確かに。
 一応、スパムハニーポットなメールアドレス作ってるんですけども、結構長い
こと使っていてWebでもだいぶ晒されている、自分の個人宛や会社代表宛メール
アドレスには、スパム収集性能はぜんぜんかないません。
 この辺のハニーポットを効率よく作る手法とか、どっかに紹介されていないで
しょうかね?

> >  自分のところは前段のフィルタでほとんど落ちてるみたいで
> というのはかなり^H^H^Hちょっとがっかり.
> 検証のためには多大な苦労を要します.
> 検証の手段を確保していますか?

 これは実際にPDFスパムが届いていて、それが前段フィルタで落とされている
か否か、を確認しているかということですよね。
 うーん、確かにそこまではしてないです。

 チェックが掛かったところは、送信元IP/HELO/Sender といったあたりのログ
が残されていて、そこからfalse positiveの可能性を探せるようにはしてあるの
ですが、スパム種とその効果まで検証しようとしてないです。
 だから、そういう点で検証手段はまったく確保されてないです。というか、
greylistingだとかtarpittingだとか、MTAセッションレベルでのフィルタだと内
容についてまで検証出来ないですね。

> 実は,これ以外でも spam を並行して受信しつつ...
> そのどれかを spam 対策の効果検証に使っている訳ですが...
>
> spam 対策するからには,spam の現状を自身で体感して,それを対策に
> 反映する必要があると思います.

 となると、同程度にスパムが来るハニーポットを作っておいて、それに対して
フィルタ掛けた方、掛けなかった方、という感じで調べないと比較できないから、
効果検証出来ないよん、ということですよね。

> log を取るのが重要なのではなくて,log を取って「査読」する事は絶対に忘
> れてはいけない筈ですよね.
> SMTP レベルで reject したり,フィルタで単純に闇に葬ってしまったりすると,
> false positive が発生していることをどのように検証できますか?
> 実運用システムで使っていたら,その risk は誰が負いますか?
> CSO とかにも,連携してその責を負ってねと説明できますか?

 これはうちだと、前述のログから、IPとかHELOとかで引っ掛けて、false
positiveしてそうなのがないか調べとく、という感じなんですけど、これはたぶ
ん山口君の思ってるところの許容レベルと、僕の思ってる許容レベルの違いがあ
るかなと思ってみました。
 僕はgreylistingとか許容しちゃってる人(greylistingは、手法的な問題とか
誤検出があっても確認出来ないとかの理由で許容できない、という人ではないと
いう意味)なので、それをより誤検出や悪影響を減らすにはどうしたらいいか、
というような方向で考えているので。


 ここから本題からずれるのですけど、ML読まれてる方にも聞きたい話で、
false positiveを許容するレベルってどのくらいだと考えます?

 自分は、何らかのフィルタを掛ける以上、どんな影響の弱いフィルタであって
も、false positiveがゼロということはありえないと思っています。そして絶対
にゼロにはならないのだけど、ゼロになるように目指すべきものと思っています。

 例えばコンテンツフィルタであれば、スパム判定されたものは別のところに残
すことが出来ますから、必ず人間がチェックするということにしておくと、フィ
ルタでのfalse positiveは無い、という言い方も出来ると思います。
 ですが、ユーザが全員が全員そんなにマメなわけはなく、チェックしない人に
は事実上false positiveが起きてしまいます。
 結局、false positiveの責任の所在を、人間に転嫁しているというか。
 特にスパムフィルタの性能が高ければ高いほど、よりまれにしか間違いを起こ
さないですから、人間はゴミ漁りをしなくなって、false positiveに気がつかな
くなってしまいます。

 「false positiveを許容する」という言い方は、きっと許容できない方もいる
と思うんですけど、突き詰めていくと、実際のところこのくらいであれば許容せ
ざるを得ない、というようなラインが出てくると思います。

 自分は、少なくとも人間がスパム判定をした場合に間違う率よりも、コンピュー
タがやったほうが間違わないというのが、ラインかなと思っています。
 例えば10万通のスパムの中から、自分がじっくりとメールをみて選り分けたと
して2通のfalse positive起こしちゃうなら、コンピュータにやらせて1通の
false positiveならまあ許容範囲かなと。

 で、そこまでいってしまえば、ゴミを人間がチェックできるようにしてあって
も、チェック手段無く捨てられてたとしても、実は同じなんじゃないの?という
ことです。


> 小生は,インターネットは,(たまたま)インフラにも繋がっているだけであっ
> て,(特に日本における国民性からは)インフラとは認めがたいものだと思っ
> ています.
> 道具として使うのであれば,痛みを伴いながら真摯に考える姿勢を忘れないと,
> 品質を維持する努力ってできないのではないでしょうか.

 このあたりの姿勢というか、山口君がここで言いたいことは理解してる「つも
り」。
 僕は、実使用上で便利に使えればOKみたいな方向に寄ってると思うから、常に
false positiveとか、フィルタによる悪影響って意識してないとだめよね、と再
認識したところです。


--
SATOH Kiyoshi <satoh@xxxxx> http://d.hatena.ne.jp/stealthinu/

--
SpamAssassin メーリングリスト
http://mm.apache.jp/mailman/listinfo/spamassassin-jp

投稿者 xml-rpc : 2007年7月18日 16:42
役に立ちました?:
過去のフィードバック 平均:(0) 総合:(0) 投票回数:(0)
本記事へのTrackback: http://hoop.euqset.org/blog/mt-tb2006.cgi/62125
トラックバック
コメント
コメントする




画像の中に見える文字を入力してください。