Регистрация...

Почтовый сервер Eserv // RefererSpam

oldwiki // (v1)
Продукты и услуги Скачать Документация Купить Поддержка Форумы Партнёрам Статьи О компании
Новости
15.05.2012
Eserv504
15.05.2012
ActiveSync
01.04.2012
Eproxy508
25.03.2012
Eserv503
26.02.2012
Eserv502
08.02.2012
UMI.CMS
22.12.2011
Eserv431
20.12.2011
Eproxy507
15.11.2011
Eproxy506
19.09.2011
Eproxy505
08.09.2011
Eserv430
06.09.2011
Lightning
19.07.2011
PoweredBy
16.07.2011
IPv6
08.07.2011
Eproxy5beta1
17.06.2011
IPv6DNS
13.06.2011
IPv6Mail
21.03.2011
Eserv428
22.10.2010
Eserv426
22.10.2010
SSL
22.04.2010
Eserv423
20.04.2010
Eserv4WhatsNew
19.04.2010
EservLDAP
19.04.2010
EservDHCP
19.04.2010
EservRubricator
08.04.2010
EservDNS
08.04.2010
NSСI
08.04.2010
WPAD
27.03.2010
Eserv422
27.03.2010
Eserv4Docs
26.03.2010
Eserv4FAQ
21.03.2010
EservIrc
05.03.2010
Eserv421
05.03.2010
HttpProxy
02.03.2010
EservVideo
02.12.2009
Eserv4Wiki
02.12.2009
Eserv4acWEB
02.12.2009
PopPull
22.11.2009
PigMailPigProxy2/WhatsNew
22.11.2009
PigMail/WhatsNew
22.09.2009
FossilEservHowTo
22.09.2009
SourceCodeManagement
22.09.2009
FossilScm
16.09.2009
SendEmail
08.09.2009
RoundCube
07.05.2009
GitScm
07.05.2009
GitEservHowTo
06.05.2009
SunBird
06.05.2009
WebDav
20.04.2009
Etelnet

Referer Spam

Почтовый спам несколько лет находится в центре внимания, т.к. хорошо заметен — засоряет почтовые ящики каждого (кто не использует статистические спам-фильтры . Однако спам паразитирует не только на SMTP-протоколе. Набирает силу веб-спам в виде CommentSpam (он же LinkSpam и BlogSpam) и RefererSpam. Первый поражает форумы, wiki, блоги — любые веб-приложения, в которых допустима "самопубликация". Спамеры пытаются использовать ссылки в комментариях для накрутки PageRank рекламируемого ресурса. RefererSpam поражает те веб-приложения, которые автоматизированно публикуют списки ссылающихся сайтов (это делают многие wiki и блоги) или просто публикуют статистические отчеты. Спамерские программы отправляют на такие сайты большое количество HTTP-запросов, в поле Referer которых указывают ссылку на рекламируемый ресурс в расчете "накрутить" статистику и попасть в публикуемые на этих сайтах отчеты.

С CommentSpam бороться легко — легче чем с почтовым спамом — ACL, усложнение регистрации (тьюринговые тесты), клиентские хэши и те же статистические фильтры. А вот фильтрация RefererSpam при всей простоте объекта фильтрации (одна строка с URL) представляет собой более сложную задачу из-за того что должна выполняться в реальном времени. Почта доставляется между SMTP-серверами без участия человека, и относительно большие задержки — в десятки и даже сотни миллисекунд (фильтрация спама и вирусов) никому не заметны. А HTTP получает намного более интенсивную нагрузку чем SMTP, и задержки в десятые или сотые доли секунды суммируются в реальные секунды при параллельной работе с сайтом многих посетителей, что уже хорошо заметно и снижает удобство пользования сайтом. Затраты на фильтрацию должны быть значительно меньше, чем собственное время формирования страницы. Только в этом случае фильтрация принесет пользу (снижение нагрузки на сервер), а не дополнительный вред. Поэтому вычислительно интенсивные (байес) и времяёмкие (RBL, fetch-back и т.п.) не годятся, и на текущий момент единственным широко используемым способом фильтрации referer-спама является сравнение со списком regexp'ов. Способ столь же неудобный в сопровождении, как и список эвристик в SpamAssassin. В будущем несомненно появятся системы, работающие по принципу IDS, и инструменты асинхронной фильтрации (с кэшированием). А пока приведу рекомендации для сегодняшнего дня.

acWEB

В acWEB (веб-сервере из комплекта Eserv/3) сравнение Referer'а с заданной маской и закрытие HTTP-соединения со спамерской программой в общем случае выполняется так (в OnRequestRules):

Referer: ~ *viagra* | S" StopProtocol" SetAction

Удобнее сравнение по списку масок во внешнем файле:

Referer IsInFile: spam_referers.txt | Forbidden

В файле spam_referers.txt могут быть маски блокируемых URL'ов, например:

  • .to/
  • .to
  • .cc
  • .cc/
  • hydrocodone*
  • adipex*
  • phentermine*
  • clubfreestyle.net*
Forbidden выдаст ответ "403 forbidden", а StopProtocol просто закроет соединение — это быстрее и экономнее, но не гарантирует, что "умная" спамерская программа не будет "биться до победного конца". Им ворованных ресурсов чужих компьютеров (ботнетов) не жалко. На сегодняшний день (13.10.2005) можно использовать StopProtocol.

Apache

Решения громоздкие, цитировать не буду, вот полезные ссылки:
http://en.wikipedia.org/wiki/Referer_spam
http://www.kuro5hin.org/story/2005/2/14/02558/3376

 
Комментарии к этой версии (13.10.2005 06:36) [~AndreyCherezov]
Работает на Eserv/5.05567 (10.02.2020)