Courier Mail Server Forum Index Courier Mail Server
www.courierms.ru
 
 FAQFAQ   SearchSearch   MemberlistMemberlist   UsergroupsUsergroups   RegisterRegister 
 ProfileProfile   Log in to check your private messagesLog in to check your private messages   Log inLog in 

Антиспам-статистика! (CMS Antispam statistic)

 
Post new topic   Reply to topic    Courier Mail Server Forum Index -> Courier Mail Server 3.xx
View previous topic :: View next topic  
Author Message
PWL
CMS Developer
CMS Developer


Joined: 15 Oct 2005
Posts: 689

PostPosted: 05 Aug 2007 14:20 (Sun)    Post subject: Антиспам-статистика! (CMS Antispam statistic) Reply with quote

На днях написал утилитку, которая анализирует логи и подсчитывает сработавшие правила антиспама. Работает только с логами начиная с CMS 2.05. Запускать antispamstat.exe нужно из папки где лежит CourierMS.exe. Результат пишется в antispamstat.log

Я натравил его на свои логи с самого начала юзания CMS 2.05 и вот результат (белый список и To,Cc, не стал приводить, особого смысла нет).
Data - дата последнего срабатывания условия
Count - счетчик срабатываний
Condition - само условие антиспама

Antispam (black list)
Date Count Condition
05.08.2007 47469: X-SpamTest-Status:"SPAM"
05.08.2007 15098: To:"news@courierms" & Subject!:"CMS" & From!:"Mail"
05.08.2007 606: Subject:"[OBORONA-SPAM]" & X-Mailer!:"Web" & Subject!:"deliver"
05.08.2007 593: Subject:" "
05.08.2007 301: To:"<courierms@narod.ru>,"
30.07.2007 243: To:"Courierms <courierms@narod.ru>"
02.08.2007 121: From:"@t-online.de"
03.08.2007 93: Received:"by courierms.ru with" | Received:"by courierms.net with"
16.05.2007 42: Subject:"Mail server report." & Received:"from unknown"
04.07.2007 42: To:"support <support@courierms"
08.05.2007 35: To:"""Courierms"" <courierms@narod.ru>"
05.08.2007 26: Date:" 2000 " | Date:" 2001 " | Date:" 2002 " | Date:" 2003 " | Date:" 2004 " | Date:" 2005 " | Date:" 2006 "
05.08.2007 23: To:", courierms@narod.ru,"
03.08.2007 22: Subject:"Re:" & To:"courierms@narod.ru"
01.06.2007 14: From:"timofeev@phiolent.crimea.ua"
05.08.2007 13: Subject:"Adobe" | Subject:"Photoshop" | Subject:"AutoCAD"
30.07.2007 8: Subject:"courierms.narod.ru: сообщение в гостевой книге"
03.08.2007 8: Subject:"Viagra" | Subject:"sex" | Subject:"love" | Subject:"orgasm" | Subject:"pills" | Subject:"medic" | Subject:"pharmacy"
02.07.2007 7: To:"sales <sales@courierms"
17.04.2007 6: To:"courierms@narod.ru" & From:"MAILER-DAEMON@"
29.03.2007 6: X-Mailer:"The Bat!" & X-MSMail-Priority!:""
28.12.2006 4: From:"@seznam.cz"
16.05.2007 3: To:"support" & To:"sale" & To:","
21.06.2007 3: X-Spam-Flag:"YES"
20.07.2007 2: To:"News <news@courierms"
02.08.2007 2: Subject:"реклам" | Subject:"офис" | Subject:" виз" | Subject:"мебель" | Subject:"распродажа" | Subject:"отдых"
13.04.2007 1: To:""
13.05.2007 1: To:"courierms" & Cc:","

Некоторые правила с Subject у меня действуют всего неделю, так что их эффективность по данной статистике пока незначительна. Некоторые правила сугубо индивидуальные и для других просто не подойдут. Так что будьте внимательны.
Думаю, всем интересно будет у кого какие правила антиспама работают. Давайте обмениваться.

Скачать утилиту можно из раздела Готовые решения.


Last edited by PWL on 02 May 2014 12:47 (Fri); edited 7 times in total
Back to top
View user's profile Send private message
GrAnd
CMS Master
CMS Master


Joined: 21 Oct 2005
Posts: 766
Location: г. Коломна

PostPosted: 06 Aug 2007 14:13 (Mon)    Post subject: Reply with quote

"Ай-ай-ай! Какое полезное изобретение!"
(Из к/ф "Иван Васильевич меняет профессию")

Вот у меня статистика:

Antispam (black list)
Date Count Condition
06.08.2007 5479: Received:"localhost.localdomain"
05.08.2007 187: Message-ID:"smtp.kolomna.ru"
04.08.2007 128: To:""
21.03.2007 126: Subject:" "
01.08.2007 100: To:"director <director@teplo.kolomna.ru>"
11.07.2007 26: To:"termo <termo@kolomna.ru>"
09.06.2007 3: Received:"from mx.teplo.kolomna.ru ([192.168.0.1])"
09.06.2007 3: X-Autoreply:"mx.teplo.kolomna.ru"

Правило Subject:" " я в марте удалил - слишком много ложных срабатываний (некоторые отправители не удосуживаются забить тему).
Правило Message-ID:"smtp.kolomna.ru" предназначено для того, чтобы отсеивать почту, отсылаемую путем коннекта клиента-отправителя к нашему вторичному MX-релею. Такое бывает редко в легальных письмах, но возможно надо это правило модифицировать.
Правило To:"" понятно без объяснений.
Правила To:"director <director@teplo.kolomna.ru>" и "termo <termo@kolomna.ru>" отсеивают письма у которых имя получателя совпадает с левой частью адреса - обычная практика спамеров.
Последние 2 правила несмотря на их редкость удалять нельзя. Они предназначены для блокирования кольцевого форвардинга.

Я, пожалуй, помещу эту программку в Готовые решения.
Жаль только, что в самом CMS нет механизма изменения порядка применения правил. Приходится пересортировывать их в файле конфигурации вручную.

И еще ... При срабатывании какого-либо правила остальные не проверяются. А чтобы получить неискаженную картину нужно исключить их взаимное влиянее. Иначе может возникнуть такая ситуация:
Правило А отсеивает 75% спама, а правило Б - 100%. Но если Б применяется после А, то оно данная программа анализатор фиксирует, что Б отсеивает только 25% спама. В результате складывается ложное впечатление о большей эффективности правила А.

Поэтому в будущем надо иметь возможность выбирать прекращать ли обработку антиспамом при срабатывании какого-либо правила, или проверярять по совокупности правил.

_________________
Все, что началось хорошо, закончится плохо.
Все, что началось плохо, закончится еще хуже.
Если вам кажется, что все идет хорошо, значит вы чего-то не замечаете.
Если все закончилось хорошо, то, значит, это еще не конец!
Back to top
View user's profile Send private message
PWL
CMS Developer
CMS Developer


Joined: 15 Oct 2005
Posts: 689

PostPosted: 02 May 2014 12:45 (Fri)    Post subject: Reply with quote

Выложил CMS Antispam statistic v3.03.
Добавлена поддержка логов CMS версии 3.02 и 3.03.
Также добавлю, что начиная с версии CMS 3.02 появилась возможность менять порядок следования правил антиспама.
Back to top
View user's profile Send private message
GrAnd
CMS Master
CMS Master


Joined: 21 Oct 2005
Posts: 766
Location: г. Коломна

PostPosted: 06 May 2014 11:29 (Tue)    Post subject: Reply with quote

PWL wrote:
Выложил CMS Antispam statistic v3.03.

Не вижу выложенного Smile

Может быть сам переделаю утилиту под 3.0.3. Только надо знать новый формат сообщений.

В принципе, вместо слов "белый список" и "черный список" теперь присутствует идентификатор ID правила. И все случаи срабатывания можно в одну кучу выводить.
Только вот вопрос: какой формат сообщения в случае срабатывания "Внешних условий"?
И еще ... может быть не надо в сообщение записывать слово "Спам" или еще какое? Может вместо этого записать туда коммент к правилу?

_________________
Все, что началось хорошо, закончится плохо.
Все, что началось плохо, закончится еще хуже.
Если вам кажется, что все идет хорошо, значит вы чего-то не замечаете.
Если все закончилось хорошо, то, значит, это еще не конец!
Back to top
View user's profile Send private message
Display posts from previous:   
Post new topic   Reply to topic    Courier Mail Server Forum Index -> Courier Mail Server 3.xx All times are GMT + 4 Hours
Page 1 of 1

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum
You cannot attach files in this forum
You can download files in this forum


Powered by phpBB © 2001, 2005 phpBB Group