AntiSpam News — Новости антиспамерского фронта

Свежие новости см. на AntiSpamNews. Ниже — архив:

• AndreyCherezov /28.06.2004 10:22/ Спецификации проверки email адреса отправителя SenderPolicyFramework (SPF) и Microsoft CallerID объединились в общую SenderID ! (подробности см. на странице SenderID). Публикацию этой спецификации Microsoft и IETF приурочили к моему дню рождения — 23 июня
• AndreyCherezov /28.06.2004 06:57/ С начала июня на наши домены пришло более 0.5 Гб спама (целый CD от 36 000 разлиных IP (сколько спамеров используют такое к-во машин — неизвестно). С этих IP было предпринято 330 тысяч попыток отправки почты. 44 тысячи из них дошли до стадии проверки содержания (т.е. сессии миновали предварительные фильтры, и письма были приняты). EservPopFile доблестно их классифицировал. Ложных срабатываний ЧЕТЫРЕ (три из них переклассифицировано отправителями, о четвертом сообщено по другим каналам), несрабатываний (просочившегося спама) — 30.
• AndreyCherezov /04.06.2004 06:50/ Поэзия из спама
• AndreyCherezov /26.05.2004 23:08/ Первым внешним адресатом среди YDK-подписанных писем, попавших на наш Eserv, оказался сам Mark Delany (разработчик спецификации YDK). Проверили с ним YDK в обе стороны. Работает! Так что рекомендую, проверено YDK-ключи для вашего домена на Eserv~acSMTP можно сделать прямо сейчас на нашем сервере: http://www.eserv.ru/ru/ca/ydk.php
• AndreyCherezov /25.05.2004 23:12/ Готов YdkPlugin для Eserv/3, поддерживающий YahooDomainKeys. Только вот во входящих письмах ни разу не встречалось заветное "~DomainKey-Signature", испытывать пока не на ком, кроме себя
• AndreyCherezov /23.05.2004 19:52/ 20 мая Yahoo, наконец, опубликовали через IETF спецификацию YahooDomainKeys, конкурента для SPF и CallerID. Комментарии и ссылку на документ см. на странице YahooDomainKeys.
• AndreyCherezov /19.05.2004 15:46/ В сегодняшней рассылке "Спамтеста" утверждается, что высокие показатели фильтрации спама у некоторых антиспамов объясняются некорректным тестированием (Цитата: "ОДНА И ТА ЖЕ ВЫБОРКА ДЛЯ ОБУЧЕНИЯ И ТЕСТИРОВАНИЯ. Наиболее грубой ошибкой является использование одной и той же выборки и для обучения, и для тестирования (уровень распознавания в результате будет резко завышенным). Именно такими некорректными условиями тестирования чаще всего объясняются рекламируемые производителями невероятные уровни распознавания наподобие 99,98%"). В связи с этим должен ответственно заявить: "рекламируемые" нами цифры для PopFile (99.99% и выше) вычисляются по РЕАЛЬНЫМ ежедневным данным нашего сервера, обслуживающего около сотни почтовых ящиков на нескольких доменах на почте самой разнообразной тематики (в одни только мои ящики сейчас приходит около 2000 сообщений в день). Начальное обучение словарей нашего PopFile выполнялось около 2 лет назад (когда вышла первая версия PopFile), с тех пор просто аккуратно дообучался в течение этих 2 лет (popfile.db имеет размер 30 мб). Напомню, PopFile нами не "рекламируется" (это бесплатный opensource проект, разрабатывамый не нами), а просто рекомендуется нашим пользователям, недовольным уровнем фильтрации широко рекламируемых отечественных и импортных фильтров (которые вместо работы над ошибками пеняют на методику тестирования Мы, напротив, используем намеренно жесткий метод оценки качества PopFile: в общее число остановленных антиспамерскими средствами Eserv/3 писем НЕ включаются письма, остановленные RBL, SPF, антивирусами, черными списками, проверкой доменов и т.д. Считаются только письма, которые без PopFile легли бы в inbox, а благодаря PopFile попадают в spam, т.е. учитывается работа ТОЛЬКО байесового движка. Если же считать весь остановленный всеми способами спам, то по этому показателю можно ставить оценку 99.999%.
• AndreyCherezov /22.04.2004 07:49/ Очень показательная статья о низкой эффективности и даже вреде RBL (я об этом тоже писал — в августе прошлого года в статье StatisticalSpamFiltering).
• AndreyCherezov /06.04.2004 00:42/ Статистика работы SpfPlugin на нашем сервере за 3 дня — SpfStatistics. Позволяет оценить степень использования SPF в интернете и пользу от его применения на данный момент. Если трактовать neutral и softfail как fail, то можно уменьшить спам на процентов 25 уже на этапе MAILFROM. Т.е. сэкономить трафик.
• AndreyCherezov /05.04.2004 23:39/ В Eserv/3 SpfPlugin добавлена прозрачная поддержка MS CallerID (CallerID приводится к SPF-формату).
• AndreyCherezov /03.04.2004 16:07/ На нашем сервере Eserv3 установлена новая версия SpfPlugin (поддержка SenderPolicyFramework), теперь на базе RMSPF 1.1 (автор Roger Moser выпустил эту версию в виде dll специально для нас). Пока этот plugin работает на сервере в режиме сбора статистики, не блокируя неавторизованные домены.
• AndreyCherezov /01.04.2004 15:06/ Еще один обзор различных спецификаций подтверждения домена отправителя. Не упомянут только CallerID.
• AndreyCherezov /24.03.2004 09:18/ Снижение объемов спама (см. новость от 11 марта) подтверждают также AOL и SpamTest.ru. Значит это уже глобальная тенденция.
• AndreyCherezov /16.03.2004 11:03/ Последние несколько дней резко возросла активность спамеров в списках рассылки, расположенных на sourceforge.net (причем спам русскоязычный). До получателей рассылок спам, правда, обычно не доходит, т.к. спамеры еще плохо освоились со средствами защиты sf.net Но админам списков рассылки на sf.net часть этого спама приходит в качестве "подозрительной" почты, требующей подтверждения администратора для пропуска в список. Раньше это были единицы писем в неделю, теперь десятки в день. Очевидно, по мере вытеснения умными фильтрами из обычной почты, спамеры активно ищут новые "среды обитания".
• AndreyCherezov /14.03.2004 08:03/ Спам-фильтры CRM114 и DSPAM в 10 раз точнее человека. CRM114 использует Markovian (цепи Маркова), а DSPAM — Bayesian Noise Reduction — два разных способа получения исходных данных для байесова обучения. Оба претендуют на точность классификации выше 99.9% (уже достигнутую традиционными байесовыми фильтрами, включая PopFile).
• AndreyCherezov /13.03.2004 17:55/ Довольно пессимистичная, но толковая статья с обзором антиспам-методов (из двух частей)
• AndreyCherezov /11.03.2004 16:10/ За 10 дней марта на мой основной личный email поступило 4906 сообщений. Из них 3239 — спам (остановлено PopFile; сессии остановленные до стадии DATA по другим спам-проверкам здесь не учтены), 909 — вирусы (остановлено KAV). По-моему, и спама и вирусов стало заметно меньше в процентном отношении Всего за эти 10 дней сервером отвергнуты 19819 писем, т.е. в среднем по 2000 сообщений в день — тоже меньше, чем недавние 5000.
• AndreyCherezov /10.03.2004 11:20/ Вышла версия 0.21.0 спам-фильтра и классификатора почты PopFile. Основное нововведение — смена формата БД. Пользователи нашей версии EservPopFile используют эти новинки уже 2 месяца.
• AndreyCherezov /10.03.2004 09:00/ В сегодняшней рассылке spamtest приводятся цитаты обсуждения спамерами моей статьи (без ссылки на источник цитаты) и признания спамерами байесового фильтра как самого эффективного. Со своей стороны отмечу, что рекомендуемый там способ борьбы с фильтрами — рассылка спамерами сообщений с не-спам содержимым наряду со спамом (для порчи словарей фильтров) — мало эффективен, т.к. переклассификации ложных срабатываний проходят проверку антиспам-админом и "анекдоты" в спам-словари не попадут.
• AndreyCherezov /09.03.2004 18:59/ 5 марта исполнилось 10 лет со дня первой спамерской рассылки в группах новостей.
• AndreyCherezov /09.03.2004 14:13/ Голосование на cnews.ru "какие меры могли бы принести наибольший эффект в борьбе со спамом": установка антиспамовых фильтров 13%, борьба провайдеров со спаммерами 47%, принятие антиспамового закона 25%, введение платы за отправку сообщений с почтовых серверов 10%, никакие 4%.
• AndreyCherezov /09.03.2004 09:24/ Почтовые домены для пользователей copi.ru и рекомендации по защите от спама.
• AndreyCherezov /03.03.2004 15:18/ YahooDomainKeys — еще одна перспективная антиспам-технология, совмещает идеи цифровых подписей (см. статью HashCash) и проверки домена отправителя (см. CallerID и SenderPolicyFramework).
• AndreyCherezov /02.03.2004 18:42/ В Eserv/3 реализована базовая поддержка SenderPolicyFramework, испытывается на нашем сервере.
• AndreyCherezov /02.03.2004 17:49/ Летом Microsoft начнет тестирование CallerID for Email на своих SMTP-серверах и у партнеров. Если этот метод получит широкое распространение (в Eserv/3 мы реализуем CallerID и SenderPolicyFramework в ближайшее время), то подделка адреса отправителя спамерами и вирусами станет невозможной. На мой взгляд, это в несколько раз снизит остроту проблем спама и вирусов, но поначалу создаст больше проблем из-за необходимости изменений в DNS, SMTP-серверах и, главное, в привычках пользователей.
• AndreyCherezov /19.02.2004 18:09/ Автоматическое вычисление белого списка Email для конкретного получателя — преподносится как новый способ борьбы со спамом. Видимо авторы забыли, что натренированный байесовый фильтр эти списки ведет тоже автоматически, причем учитывается контекст... Да и в некоторых небайесовых фильтрах эта идея используется. В общем, большой новизны в этой идее я не заметил.
• AndreyCherezov /18.02.2004 14:22/ "Правильное использование спама — для свержения правительств и интервенций глобального масштаба"...
• AndreyCherezov /10.02.2004 17:09/ http://despammed.com/ — форвардер почты, аналогичный spamtest.ru
• AndreyCherezov /02.02.2004 05:49/ Протокол SMTP заменят через год?
• AndreyCherezov /21.01.2004 18:19/ http://www.russ.ru/culture/network/20040117.html — читал и сочувствовал. Почему даже известные и неглупые люди так мучаются от спама? Ну есть же хорошие фильтры! Я вот от 1000 спам-писем в день нисколько не страдаю, их сервер за меня читает Он, конечно, страдает, но на то он и сервер (Eserv/3 + PopFile на сервере). Про решение проблемы ложных срабатываний я уже писал — это связка с веб-сервером. Антону Носику, который там жаловался на проблему ложных срабатываний, следовало бы антиспам-статьи почитать вместо спама
• AndreyCherezov /19.01.2004 18:21/ В связи с приближением "конца света" (завершения эпохи надежной доставки Email) можно еще раз подумать о "жизни после смерти" — моё мнение см. в HashCash
• AndreyCherezov /19.01.2004 10:37/ Еще один антиспамерский сервис подвергся атаке и пал жертвой спамеров — Habeas. Все почтовые серверы, которые доверяли антиспам-оценкам Habeas (его оценки используются и SpamAssassin'ом), сегодня пропустили спам о Viagra. Владельцы Habeas работают над решением проблемы.
• AndreyCherezov /09.01.2004 18:03/ Вслед за Osirusoft RBL прекратил работу or.orbl.org. Если вы используете этот RBL в Eserv/3, почта теряться не будет — в отличие от некоторых других почтовых серверов (разославших сегодня предупреждения своим пользователям) Eserv умеет отличать неработающий RBL от работающего

См. также: AntiSpam, ForthWiki:AntiSpam