Courier Mail Server Forum Index Courier Mail Server
www.courierms.ru
 
 FAQFAQ   SearchSearch   MemberlistMemberlist   UsergroupsUsergroups   RegisterRegister 
 ProfileProfile   Log in to check your private messagesLog in to check your private messages   Log inLog in 

Утиль для проверки отправителя в DNSBL

 
Post new topic   Reply to topic    Courier Mail Server Forum Index -> Courier Mail Server 2.xx
View previous topic :: View next topic  
Author Message
angelbbs
Newbie
Newbie


Joined: 28 Jul 2008
Posts: 5

PostPosted: 28 Jul 2008 11:26 (Mon)    Post subject: Утиль для проверки отправителя в DNSBL Reply with quote

Готовых решений не нашел, поэтому написал свою утиль для проверки отправителя в DNSBL.

Подключается в Обработка->Приложение->antispam.exe %Message%

Проверяется по списку DNSBL. Всего можно задать до 5 серверов.
Возможные действия: Удалить, переместить, ничего не делать.
Более подробно настройки описаны в antispam.cfg

Пример лога:
28-07-2008 07:59:31 *** Processing message: 05H0005H 1916 bytes
28-07-2008 07:59:31 From: info@sald.ru To: ***@***.ru
28-07-2008 07:59:31 81.211.95.163->sbl-xbl.spamhaus.org return: NOT in blacklist
28-07-2008 07:59:31 81.211.95.163->dnsbl.njabl.org return: NOT in blacklist
28-07-2008 07:59:32 81.211.95.163->ex.dnsbl.org return: NOT in blacklist
28-07-2008 07:59:32 81.211.95.163 is NOT in the black list of EACH DNSBL.
28-07-2008 07:59:32
28-07-2008 10:29:16 *** Processing message: 05H0005I 1005 bytes
28-07-2008 10:29:16 From: lirmagnusonskaf@magnusons.se To: ***@***.ru
28-07-2008 10:29:16 [SPAM] 218.248.78.107->sbl-xbl.spamhaus.org return: 127.0.0.4
28-07-2008 10:29:16 218.248.78.107->dnsbl.njabl.org return: NOT in blacklist
28-07-2008 10:29:16 218.248.78.107->ex.dnsbl.org return: NOT in blacklist
28-07-2008 10:29:16 ONE of DNSBL has recognized, that 218.248.78.107 is in the black list.
28-07-2008 10:29:16 File Queue\05H0005I.msg moved to C:\CMS\Spam\



antispam01.rar
 Description:

Download
 Filename:  antispam01.rar
 Filesize:  476.89 KB
 Downloaded:  1313 Time(s)

Back to top
View user's profile Send private message Visit poster's website
NAMOR
CMS Developer


Joined: 15 Oct 2005
Posts: 1078

PostPosted: 29 Jul 2008 15:40 (Tue)    Post subject: Reply with quote

Проверил утилиту на 6338 письмах, все они - спам (отобраны вручную).
Также, планировал протестировать утилиту на неспам-письмах, но, по результатм первого теста, второй отменил.
В настройках утилиты изменил только пути к папкам, остальное не менял.
Утилита отнесла к спаму только 6 (шесть) писем, что составляет менее 0.095% верных распознаваний.
В процессе работы утилита останавливалась с ошибкой более 30 раз. При каждой ошибке выводилось диалоговое окно, в котором было необходимо нажать кнопку.
Таким образом, эффективность распознавания спама данной утилитой близка к нулю, работа в автоматическом режиме невозможна. Практической ценности утилита не имеет.

P.S.: Если работа с DNSBL-серверами реализована в утилите правильно, то её работа убедительно доказывает, что фильтровать спам с помощью "чёрных списков" IP-адресов спамеров не получится.
Back to top
View user's profile Send private message Send e-mail Visit poster's website
angelbbs
Newbie
Newbie


Joined: 28 Jul 2008
Posts: 5

PostPosted: 29 Jul 2008 19:41 (Tue)    Post subject: Reply with quote

Пришли, плз, пару писем, на которых была ошибка.

PS По моей статистике из 696 писем, прошедших через почтовый сервер на текущий момент, 144 были опознаны как спам.
Back to top
View user's profile Send private message Visit poster's website
NAMOR
CMS Developer


Joined: 15 Oct 2005
Posts: 1078

PostPosted: 30 Jul 2008 13:03 (Wed)    Post subject: Reply with quote

Уточнение. Мои 6338 писем - это спам, который не был отловлен антиспамом хостера и антиспамом CMS. Если утилита будет проверять спам до (без) этих фильтров, то, вполне возможно, её эффективность будет несколько выше.
Однако, на мой взгляд, фильтровать спам по IP-адресу отправителя опасно, т.к. можно запросто отсечь важные письма.
Одно время из-за того, что IP-адреса моего хостера попали в "чёрный список" я не мог отправлять письма на некоторые адреса. Получается, что из-за спамера, находящегося в сети хостера, страдаю я и ещё тысячи клиентов. Если сервер не принимает моё письмо, считая его спамом из-за содержимого, я могу написать письмо немного по-другому и отправить заново. А если серверу "не нравится" мой IP-адрес, то ничего поделать я не могу.
Поэтому, на мой взгляд, использование "чёрных списков" IP-адресов порождает больше проблем, чем решает. Надо спам распознавать по самому письму, а не по его источнику. Максимум, можно источник письма косвенно учитывать, начисляя письму дополнительные штрафные баллы за "сомнительный" источник.

P.S.: Два письма, вызывающих ошибку, выслал по e-mail.
Back to top
View user's profile Send private message Send e-mail Visit poster's website
Dyuss
Postmaster
Postmaster


Joined: 02 Oct 2006
Posts: 106

PostPosted: 30 Jul 2008 20:52 (Wed)    Post subject: Reply with quote

А на мой взгляд, DNS-BL никаких проблем не порождает. Проблемы возникают лишь у махровых спамеров (в силу своей низкой квалификации некоторые администраторы становятся такими, разводя у себя зверинец) и у не радивых хостеров Wink Если хостер игнорирует уведомления и не принимает мер по прекращению спама со своего пула ip то садится в блок. И честно, представить трудно, это как гадить нужно было, чтобы в блок попал хостер.

Quote:
Проверил утилиту на 6338 письмах, все они - спам (отобраны вручную).
Это за какой период они отобраны? Shocked Сколько лет собирались ? Wink Из баз DNS-BL выписываются, и если в какой-то период времени с этого IP-адреса спамили, то по состоянию на сечас уже могли ситуацию исправить и выписаться из базы. Так что мне кажется, статистика ошибочна.

Quote:
... Максимум, можно источник письма косвенно учитывать, начисляя письму дополнительные штрафные баллы за "сомнительный" источник.


С этого момента пожалуйста поподробнее. Куда начислять? В CMS есть spamassassin - bayes? Вот когда будет, тогда и начислять можно.

_________________
Делай, что можешь, с тем, что имеешь, там, где ты есть!
Back to top
View user's profile Send private message
NAMOR
CMS Developer


Joined: 15 Oct 2005
Posts: 1078

PostPosted: 31 Jul 2008 0:43 (Thu)    Post subject: Reply with quote

Dyuss wrote:
А на мой взгляд, DNS-BL никаких проблем не порождает. Проблемы возникают лишь у махровых спамеров (в силу своей низкой квалификации некоторые администраторы становятся такими, разводя у себя зверинец) и у не радивых хостеров Wink Если хостер игнорирует уведомления и не принимает мер по прекращению спама со своего пула ip то садится в блок. И честно, представить трудно, это как гадить нужно было, чтобы в блок попал хостер.

Спорить не буду, своё мнение я уже высказал.

Dyuss wrote:
Quote:
Проверил утилиту на 6338 письмах, все они - спам (отобраны вручную).
Это за какой период они отобраны? Shocked Сколько лет собирались ? Wink Из баз DNS-BL выписываются, и если в какой-то период времени с этого IP-адреса спамили, то по состоянию на сечас уже могли ситуацию исправить и выписаться из базы. Так что мне кажется, статистика ошибочна.

Спам собирается с 01.01.2007 по данное время.
Я привёл свою статистику и объяснил, как она была получена, поэтому ошибочной она не может быть в принципе. Не отражающей реальную картину - может быть. Приводите свою - сравним.

Dyuss wrote:
Quote:
... Максимум, можно источник письма косвенно учитывать, начисляя письму дополнительные штрафные баллы за "сомнительный" источник.

С этого момента пожалуйста поподробнее. Куда начислять? В CMS есть spamassassin - bayes? Вот когда будет, тогда и начислять можно.

В CMS байеса нет, речь я вёл про использование "чёрных" списков IP-адресов, а не про использование CMS в фильтрации спама.
Back to top
View user's profile Send private message Send e-mail Visit poster's website
angelbbs
Newbie
Newbie


Joined: 28 Jul 2008
Posts: 5

PostPosted: 11 Aug 2008 8:51 (Mon)    Post subject: Reply with quote

Были исправленны некоторые ошибки, добавлены новые возможности.
Добавлена возможность добавления в начало поля Subject произвольной фразы.
Посуточная статистика записывается в antispamstat.dbf

Ниже приведена статистика при включенном антиспаме CMS.
Причем прием почты разрешен только с .ru, .com., .org, .net


DATE TOTAL SPAM
31-07-2008 33 16
01-08-2008 39 26
02-08-2008 20 10
03-08-2008 18 11
04-08-2008 43 26
05-08-2008 54 35
06-08-2008 61 39
07-08-2008 50 30
08-08-2008 38 15



antispam02.rar
 Description:

Download
 Filename:  antispam02.rar
 Filesize:  475.14 KB
 Downloaded:  1268 Time(s)

Back to top
View user's profile Send private message Visit poster's website
GrAnd
CMS Master
CMS Master


Joined: 21 Oct 2005
Posts: 766
Location: г. Коломна

PostPosted: 15 Aug 2008 11:11 (Fri)    Post subject: Reply with quote

NAMOR wrote:
Спам собирается с 01.01.2007 по данное время.

Роман!
Смысл проверять по DNSBL спам, полученный год назад, не имеет смысла. Эти списки динамические и обновляются постоянно. В том числе происходит и исключение записей из них. Иногда автоматом, если SMTP-флуд с данного адреса прекратился, иногда по запросу. Иногда немедленно, иногда по прошествию нескольких дней. Но в любом случае маловероятно, чтобы адрес задержался в них больше, чем на неделю.
Кстати говоря, позавчера у нас кое-кто словил спамбота. Вчера обнаружилось, что наш адрес уже заблокирован. Послал им отписку. Обещали в течение ближайших дней разблокировать. Надеюсь, что сделают это еще сегодня, но не позже, чем в понедельник.
В то же время свежие спамботы могут еще не быть внесены в списки.
Поэтому проверку надо осуществлять не на годовой выборке, но и не за текущий день. А лучше всего за 2-3 последних дня. Уверен, что доля отсеянных писем возрастет.

_________________
Все, что началось хорошо, закончится плохо.
Все, что началось плохо, закончится еще хуже.
Если вам кажется, что все идет хорошо, значит вы чего-то не замечаете.
Если все закончилось хорошо, то, значит, это еще не конец!
Back to top
View user's profile Send private message
NAMOR
CMS Developer


Joined: 15 Oct 2005
Posts: 1078

PostPosted: 15 Aug 2008 13:36 (Fri)    Post subject: Reply with quote

GrAnd wrote:
Роман!
Смысл проверять по DNSBL спам, полученный год назад, не имеет смысла. Эти списки динамические и обновляются постоянно. В том числе происходит и исключение записей из них. Иногда автоматом, если SMTP-флуд с данного адреса прекратился, иногда по запросу. Иногда немедленно, иногда по прошествию нескольких дней. Но в любом случае маловероятно, чтобы адрес задержался в них больше, чем на неделю.
...
Поэтому проверку надо осуществлять не на годовой выборке, но и не за текущий день. А лучше всего за 2-3 последних дня. Уверен, что доля отсеянных писем возрастет.

Я проверял на том спаме, какой у меня есть — это спам, не распознанный антиспамом хостера и антиспамом CMS. Естественно, там был спам и за последние 2-3 дня, но он также не был распознан обсуждаемой утилитой.
На мой взгляд, вывод можно сделать однозначный — дополнительная фильтрация по DNSBL после проверки "обычным" антиспамом никакого смысла не имеет. Свою статистику я приводил ранее.
Конечно, можно сначала проводить проверку IP-адреса подключившегося клиента по DNSBL. Но что если этот клиент собирался прислать нам важное письмо, а вовсе не спам? А мы его сразу "послали", даже не разобравшись, что у него за письмо. Вы пишете, что кто-то в вашей сети "поймал" спамбота. Но ведь из вашей сети не только спамбот шлёт спам, но идут и "хорошие" письма. А получатели возьмут и "завернут" все эти письма, найдя ваш IP-адрес в DNSBL... А среди эти писем будет важная деловая переписка...
Back to top
View user's profile Send private message Send e-mail Visit poster's website
GrAnd
CMS Master
CMS Master


Joined: 21 Oct 2005
Posts: 766
Location: г. Коломна

PostPosted: 15 Aug 2008 15:21 (Fri)    Post subject: Reply with quote

NAMOR wrote:
... А получатели возьмут и "завернут" все эти письма, найдя ваш IP-адрес в DNSBL... А среди эти писем будет важная деловая переписка...

Так оно и происходит. Приходит отлуп, типа:

550 Access from ip address ***.***.***.*** blocked. Visit http://xxx.xxx.xxx/cgi-bin/support_bl?ip=***.***.***.***

При переходе на ссылку оказываешься на страничке провайдера DNSBL с формой исключения из черного списка.
Это распространенная практика. Во многие MTA механизмы проверки по DNSBL и формирования такого ответа входят автоматически.

Честное слово, это не очень напрягает. Т.к. на каждом компе сетки стоит Avira AntiVir, то случаи проникновения спамботов редки. И даже если это происходит, то на шлюзе стоит Traffic Inspector со включенным флуд-контролем по SMTP, DNS и другим потенциально опасным протоколам. Если что, он просто блокирует трафик с проштрафившегося компа. Обычно это срабатывает надежно и быстро. Так что я сейчас как раз разбираюсь, почему в этот раз не успел сработать. Но это, все же, случай исключительный.
А если кто не озаботился защитой своих сетей, и постоянно залетает в BL, то сам виноват, у меня голова не должна болеть, что он по своей вине не может мне письмо отправить.

И еще ... Грамотные спам-фильтры не блокируют письма на основании только одного какого-то признака. Вычисляется результирующая вероятность на основании многих признаков: DNSBL, корректный PTR в зоне обратного просмотра, соответствие IP и адреса отправителя, Байесовский частотный классификатор, повторяемость по методу шинглов, наличие транслитерации, скрытого текста, изображений и т.д и т.п.

_________________
Все, что началось хорошо, закончится плохо.
Все, что началось плохо, закончится еще хуже.
Если вам кажется, что все идет хорошо, значит вы чего-то не замечаете.
Если все закончилось хорошо, то, значит, это еще не конец!
Back to top
View user's profile Send private message
santos007
Newbie
Newbie


Joined: 11 Sep 2008
Posts: 1

PostPosted: 11 Sep 2008 10:22 (Thu)    Post subject: Reply with quote

Спасибо за утилиту, действительно помогает бороться со спамом. Но иногда некоторые нужные адреса определяются как спамерские и даже иногда адрес нашего шлюза. Если бы была возможность задать"белый" список адресов в этой программе т.к. "белый" список настроенный в CMS не отрабатывает, то утилита на мой взгляд была бы очень полезна многим.
Back to top
View user's profile Send private message
angelbbs
Newbie
Newbie


Joined: 28 Jul 2008
Posts: 5

PostPosted: 17 Sep 2008 12:09 (Wed)    Post subject: Reply with quote

Добавлен список "белых" адресов


antispam03.rar
 Description:

Download
 Filename:  antispam03.rar
 Filesize:  475 KB
 Downloaded:  1383 Time(s)

Back to top
View user's profile Send private message Visit poster's website
sibparket
Newbie
Newbie


Joined: 24 Apr 2009
Posts: 1

PostPosted: 24 Apr 2009 10:11 (Fri)    Post subject: Reply with quote

все конечно замечательно но е могли бы вы поделится исходным кодом? что то файлик очень уж много занимает
Back to top
View user's profile Send private message
angelbbs
Newbie
Newbie


Joined: 28 Jul 2008
Posts: 5

PostPosted: 14 May 2009 23:29 (Thu)    Post subject: Reply with quote

sibparket wrote:
все конечно замечательно но е могли бы вы поделится исходным кодом? что то файлик очень уж много занимает


С удовольствием. Только исходники вам ничего не дадут.
Это написано на xHarbour+FiveWin
Пишите E-mail, вышлю.
Back to top
View user's profile Send private message Visit poster's website
Display posts from previous:   
Post new topic   Reply to topic    Courier Mail Server Forum Index -> Courier Mail Server 2.xx All times are GMT + 4 Hours
Page 1 of 1

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum
You cannot attach files in this forum
You can download files in this forum


Powered by phpBB © 2001, 2005 phpBB Group