View previous topic :: View next topic |
Author |
Message |
angelbbs Newbie
Joined: 28 Jul 2008 Posts: 5
|
Posted: 28 Jul 2008 11:26 (Mon) Post subject: Утиль для проверки отправителя в DNSBL |
|
|
Готовых решений не нашел, поэтому написал свою утиль для проверки отправителя в DNSBL.
Подключается в Обработка->Приложение->antispam.exe %Message%
Проверяется по списку DNSBL. Всего можно задать до 5 серверов.
Возможные действия: Удалить, переместить, ничего не делать.
Более подробно настройки описаны в antispam.cfg
Пример лога:
28-07-2008 07:59:31 *** Processing message: 05H0005H 1916 bytes
28-07-2008 07:59:31 From: info@sald.ru To: ***@***.ru
28-07-2008 07:59:31 81.211.95.163->sbl-xbl.spamhaus.org return: NOT in blacklist
28-07-2008 07:59:31 81.211.95.163->dnsbl.njabl.org return: NOT in blacklist
28-07-2008 07:59:32 81.211.95.163->ex.dnsbl.org return: NOT in blacklist
28-07-2008 07:59:32 81.211.95.163 is NOT in the black list of EACH DNSBL.
28-07-2008 07:59:32
28-07-2008 10:29:16 *** Processing message: 05H0005I 1005 bytes
28-07-2008 10:29:16 From: lirmagnusonskaf@magnusons.se To: ***@***.ru
28-07-2008 10:29:16 [SPAM] 218.248.78.107->sbl-xbl.spamhaus.org return: 127.0.0.4
28-07-2008 10:29:16 218.248.78.107->dnsbl.njabl.org return: NOT in blacklist
28-07-2008 10:29:16 218.248.78.107->ex.dnsbl.org return: NOT in blacklist
28-07-2008 10:29:16 ONE of DNSBL has recognized, that 218.248.78.107 is in the black list.
28-07-2008 10:29:16 File Queue\05H0005I.msg moved to C:\CMS\Spam\
Description: |
|
Download |
Filename: |
antispam01.rar |
Filesize: |
476.89 KB |
Downloaded: |
2088 Time(s) |
|
|
Back to top |
|
|
NAMOR CMS Developer
Joined: 15 Oct 2005 Posts: 1081
|
Posted: 29 Jul 2008 15:40 (Tue) Post subject: |
|
|
Проверил утилиту на 6338 письмах, все они - спам (отобраны вручную).
Также, планировал протестировать утилиту на неспам-письмах, но, по результатм первого теста, второй отменил.
В настройках утилиты изменил только пути к папкам, остальное не менял.
Утилита отнесла к спаму только 6 (шесть) писем, что составляет менее 0.095% верных распознаваний.
В процессе работы утилита останавливалась с ошибкой более 30 раз. При каждой ошибке выводилось диалоговое окно, в котором было необходимо нажать кнопку.
Таким образом, эффективность распознавания спама данной утилитой близка к нулю, работа в автоматическом режиме невозможна. Практической ценности утилита не имеет.
P.S.: Если работа с DNSBL-серверами реализована в утилите правильно, то её работа убедительно доказывает, что фильтровать спам с помощью "чёрных списков" IP-адресов спамеров не получится.
|
|
Back to top |
|
|
angelbbs Newbie
Joined: 28 Jul 2008 Posts: 5
|
Posted: 29 Jul 2008 19:41 (Tue) Post subject: |
|
|
Пришли, плз, пару писем, на которых была ошибка.
PS По моей статистике из 696 писем, прошедших через почтовый сервер на текущий момент, 144 были опознаны как спам.
|
|
Back to top |
|
|
NAMOR CMS Developer
Joined: 15 Oct 2005 Posts: 1081
|
Posted: 30 Jul 2008 13:03 (Wed) Post subject: |
|
|
Уточнение. Мои 6338 писем - это спам, который не был отловлен антиспамом хостера и антиспамом CMS. Если утилита будет проверять спам до (без) этих фильтров, то, вполне возможно, её эффективность будет несколько выше.
Однако, на мой взгляд, фильтровать спам по IP-адресу отправителя опасно, т.к. можно запросто отсечь важные письма.
Одно время из-за того, что IP-адреса моего хостера попали в "чёрный список" я не мог отправлять письма на некоторые адреса. Получается, что из-за спамера, находящегося в сети хостера, страдаю я и ещё тысячи клиентов. Если сервер не принимает моё письмо, считая его спамом из-за содержимого, я могу написать письмо немного по-другому и отправить заново. А если серверу "не нравится" мой IP-адрес, то ничего поделать я не могу.
Поэтому, на мой взгляд, использование "чёрных списков" IP-адресов порождает больше проблем, чем решает. Надо спам распознавать по самому письму, а не по его источнику. Максимум, можно источник письма косвенно учитывать, начисляя письму дополнительные штрафные баллы за "сомнительный" источник.
P.S.: Два письма, вызывающих ошибку, выслал по e-mail.
|
|
Back to top |
|
|
Dyuss Postmaster
Joined: 02 Oct 2006 Posts: 106
|
Posted: 30 Jul 2008 20:52 (Wed) Post subject: |
|
|
А на мой взгляд, DNS-BL никаких проблем не порождает. Проблемы возникают лишь у махровых спамеров (в силу своей низкой квалификации некоторые администраторы становятся такими, разводя у себя зверинец) и у не радивых хостеров Если хостер игнорирует уведомления и не принимает мер по прекращению спама со своего пула ip то садится в блок. И честно, представить трудно, это как гадить нужно было, чтобы в блок попал хостер.
Quote: | Проверил утилиту на 6338 письмах, все они - спам (отобраны вручную). | Это за какой период они отобраны? Сколько лет собирались ? Из баз DNS-BL выписываются, и если в какой-то период времени с этого IP-адреса спамили, то по состоянию на сечас уже могли ситуацию исправить и выписаться из базы. Так что мне кажется, статистика ошибочна.
Quote: | ... Максимум, можно источник письма косвенно учитывать, начисляя письму дополнительные штрафные баллы за "сомнительный" источник. |
С этого момента пожалуйста поподробнее. Куда начислять? В CMS есть spamassassin - bayes? Вот когда будет, тогда и начислять можно.
_________________ Делай, что можешь, с тем, что имеешь, там, где ты есть! |
|
Back to top |
|
|
NAMOR CMS Developer
Joined: 15 Oct 2005 Posts: 1081
|
Posted: 31 Jul 2008 0:43 (Thu) Post subject: |
|
|
Dyuss wrote: | А на мой взгляд, DNS-BL никаких проблем не порождает. Проблемы возникают лишь у махровых спамеров (в силу своей низкой квалификации некоторые администраторы становятся такими, разводя у себя зверинец) и у не радивых хостеров Если хостер игнорирует уведомления и не принимает мер по прекращению спама со своего пула ip то садится в блок. И честно, представить трудно, это как гадить нужно было, чтобы в блок попал хостер. |
Спорить не буду, своё мнение я уже высказал.
Dyuss wrote: | Quote: | Проверил утилиту на 6338 письмах, все они - спам (отобраны вручную). | Это за какой период они отобраны? Сколько лет собирались ? Из баз DNS-BL выписываются, и если в какой-то период времени с этого IP-адреса спамили, то по состоянию на сечас уже могли ситуацию исправить и выписаться из базы. Так что мне кажется, статистика ошибочна. |
Спам собирается с 01.01.2007 по данное время.
Я привёл свою статистику и объяснил, как она была получена, поэтому ошибочной она не может быть в принципе. Не отражающей реальную картину - может быть. Приводите свою - сравним.
Dyuss wrote: | Quote: | ... Максимум, можно источник письма косвенно учитывать, начисляя письму дополнительные штрафные баллы за "сомнительный" источник. |
С этого момента пожалуйста поподробнее. Куда начислять? В CMS есть spamassassin - bayes? Вот когда будет, тогда и начислять можно. |
В CMS байеса нет, речь я вёл про использование "чёрных" списков IP-адресов, а не про использование CMS в фильтрации спама.
|
|
Back to top |
|
|
angelbbs Newbie
Joined: 28 Jul 2008 Posts: 5
|
Posted: 11 Aug 2008 8:51 (Mon) Post subject: |
|
|
Были исправленны некоторые ошибки, добавлены новые возможности.
Добавлена возможность добавления в начало поля Subject произвольной фразы.
Посуточная статистика записывается в antispamstat.dbf
Ниже приведена статистика при включенном антиспаме CMS.
Причем прием почты разрешен только с .ru, .com., .org, .net
DATE TOTAL SPAM
31-07-2008 33 16
01-08-2008 39 26
02-08-2008 20 10
03-08-2008 18 11
04-08-2008 43 26
05-08-2008 54 35
06-08-2008 61 39
07-08-2008 50 30
08-08-2008 38 15
Description: |
|
Download |
Filename: |
antispam02.rar |
Filesize: |
475.14 KB |
Downloaded: |
2058 Time(s) |
|
|
Back to top |
|
|
GrAnd CMS Master
Joined: 21 Oct 2005 Posts: 766 Location: г. Коломна
|
Posted: 15 Aug 2008 11:11 (Fri) Post subject: |
|
|
NAMOR wrote: | Спам собирается с 01.01.2007 по данное время. |
Роман!
Смысл проверять по DNSBL спам, полученный год назад, не имеет смысла. Эти списки динамические и обновляются постоянно. В том числе происходит и исключение записей из них. Иногда автоматом, если SMTP-флуд с данного адреса прекратился, иногда по запросу. Иногда немедленно, иногда по прошествию нескольких дней. Но в любом случае маловероятно, чтобы адрес задержался в них больше, чем на неделю.
Кстати говоря, позавчера у нас кое-кто словил спамбота. Вчера обнаружилось, что наш адрес уже заблокирован. Послал им отписку. Обещали в течение ближайших дней разблокировать. Надеюсь, что сделают это еще сегодня, но не позже, чем в понедельник.
В то же время свежие спамботы могут еще не быть внесены в списки.
Поэтому проверку надо осуществлять не на годовой выборке, но и не за текущий день. А лучше всего за 2-3 последних дня. Уверен, что доля отсеянных писем возрастет.
_________________ Все, что началось хорошо, закончится плохо.
Все, что началось плохо, закончится еще хуже.
Если вам кажется, что все идет хорошо, значит вы чего-то не замечаете.
Если все закончилось хорошо, то, значит, это еще не конец! |
|
Back to top |
|
|
NAMOR CMS Developer
Joined: 15 Oct 2005 Posts: 1081
|
Posted: 15 Aug 2008 13:36 (Fri) Post subject: |
|
|
GrAnd wrote: | Роман!
Смысл проверять по DNSBL спам, полученный год назад, не имеет смысла. Эти списки динамические и обновляются постоянно. В том числе происходит и исключение записей из них. Иногда автоматом, если SMTP-флуд с данного адреса прекратился, иногда по запросу. Иногда немедленно, иногда по прошествию нескольких дней. Но в любом случае маловероятно, чтобы адрес задержался в них больше, чем на неделю.
...
Поэтому проверку надо осуществлять не на годовой выборке, но и не за текущий день. А лучше всего за 2-3 последних дня. Уверен, что доля отсеянных писем возрастет. |
Я проверял на том спаме, какой у меня есть — это спам, не распознанный антиспамом хостера и антиспамом CMS. Естественно, там был спам и за последние 2-3 дня, но он также не был распознан обсуждаемой утилитой.
На мой взгляд, вывод можно сделать однозначный — дополнительная фильтрация по DNSBL после проверки "обычным" антиспамом никакого смысла не имеет. Свою статистику я приводил ранее.
Конечно, можно сначала проводить проверку IP-адреса подключившегося клиента по DNSBL. Но что если этот клиент собирался прислать нам важное письмо, а вовсе не спам? А мы его сразу "послали", даже не разобравшись, что у него за письмо. Вы пишете, что кто-то в вашей сети "поймал" спамбота. Но ведь из вашей сети не только спамбот шлёт спам, но идут и "хорошие" письма. А получатели возьмут и "завернут" все эти письма, найдя ваш IP-адрес в DNSBL... А среди эти писем будет важная деловая переписка...
|
|
Back to top |
|
|
GrAnd CMS Master
Joined: 21 Oct 2005 Posts: 766 Location: г. Коломна
|
Posted: 15 Aug 2008 15:21 (Fri) Post subject: |
|
|
NAMOR wrote: | ... А получатели возьмут и "завернут" все эти письма, найдя ваш IP-адрес в DNSBL... А среди эти писем будет важная деловая переписка... |
Так оно и происходит. Приходит отлуп, типа:
550 Access from ip address ***.***.***.*** blocked. Visit http://xxx.xxx.xxx/cgi-bin/support_bl?ip=***.***.***.***
При переходе на ссылку оказываешься на страничке провайдера DNSBL с формой исключения из черного списка.
Это распространенная практика. Во многие MTA механизмы проверки по DNSBL и формирования такого ответа входят автоматически.
Честное слово, это не очень напрягает. Т.к. на каждом компе сетки стоит Avira AntiVir, то случаи проникновения спамботов редки. И даже если это происходит, то на шлюзе стоит Traffic Inspector со включенным флуд-контролем по SMTP, DNS и другим потенциально опасным протоколам. Если что, он просто блокирует трафик с проштрафившегося компа. Обычно это срабатывает надежно и быстро. Так что я сейчас как раз разбираюсь, почему в этот раз не успел сработать. Но это, все же, случай исключительный.
А если кто не озаботился защитой своих сетей, и постоянно залетает в BL, то сам виноват, у меня голова не должна болеть, что он по своей вине не может мне письмо отправить.
И еще ... Грамотные спам-фильтры не блокируют письма на основании только одного какого-то признака. Вычисляется результирующая вероятность на основании многих признаков: DNSBL, корректный PTR в зоне обратного просмотра, соответствие IP и адреса отправителя, Байесовский частотный классификатор, повторяемость по методу шинглов, наличие транслитерации, скрытого текста, изображений и т.д и т.п.
_________________ Все, что началось хорошо, закончится плохо.
Все, что началось плохо, закончится еще хуже.
Если вам кажется, что все идет хорошо, значит вы чего-то не замечаете.
Если все закончилось хорошо, то, значит, это еще не конец! |
|
Back to top |
|
|
santos007 Newbie
Joined: 11 Sep 2008 Posts: 1
|
Posted: 11 Sep 2008 10:22 (Thu) Post subject: |
|
|
Спасибо за утилиту, действительно помогает бороться со спамом. Но иногда некоторые нужные адреса определяются как спамерские и даже иногда адрес нашего шлюза. Если бы была возможность задать"белый" список адресов в этой программе т.к. "белый" список настроенный в CMS не отрабатывает, то утилита на мой взгляд была бы очень полезна многим.
|
|
Back to top |
|
|
angelbbs Newbie
Joined: 28 Jul 2008 Posts: 5
|
Posted: 17 Sep 2008 12:09 (Wed) Post subject: |
|
|
Добавлен список "белых" адресов
Description: |
|
Download |
Filename: |
antispam03.rar |
Filesize: |
475 KB |
Downloaded: |
2154 Time(s) |
|
|
Back to top |
|
|
sibparket Newbie
Joined: 24 Apr 2009 Posts: 1
|
Posted: 24 Apr 2009 10:11 (Fri) Post subject: |
|
|
все конечно замечательно но е могли бы вы поделится исходным кодом? что то файлик очень уж много занимает
|
|
Back to top |
|
|
angelbbs Newbie
Joined: 28 Jul 2008 Posts: 5
|
Posted: 14 May 2009 23:29 (Thu) Post subject: |
|
|
sibparket wrote: | все конечно замечательно но е могли бы вы поделится исходным кодом? что то файлик очень уж много занимает |
С удовольствием. Только исходники вам ничего не дадут.
Это написано на xHarbour+FiveWin
Пишите E-mail, вышлю.
|
|
Back to top |
|
|
|
|
You cannot post new topics in this forum You cannot reply to topics in this forum You cannot edit your posts in this forum You cannot delete your posts in this forum You cannot vote in polls in this forum You cannot attach files in this forum You can download files in this forum
|
Powered by phpBB © 2001, 2005 phpBB Group
|