Новая система ии будет отфильтровывать спам в интернете

Что такое спам-фильтр и как его настроить

Что такое спам-фильтр

Понять, что такое спам-фильтр довольно просто, это специальная программа, защищающая пользователя от спама. Обычно применяется для фильтрования входящих писем на электронной почте или при размещении ссылок. В своей работе он использует заготовленные списки с нежелательными адресами сайтов и адресатами. Разумеется, что для начала эти списки необходимо разработать.

Спам-фильтр поможет Вам избежать встречи с нежелательными письмами, содержащими спам. В основном, он бывает довольно безобидным, поскольку содержит различную рекламу товаров и услуг.

К сожалению бывают и весьма опасные спамные письма, которые всевозможными способами попытаются выманить деньги, выведать Ваши данные (пароль, логин и т.д) или засорить Ваше устройство вирусами. Конечно, всегда можно ограничиться ведением Яндекс Директ, но лучше не стоит.

Спам-фильтр занимается исследованием содержимого каждого входящего письма. Делает он это путём проверки на наличие спам-слов, изучает оформление и смысл текста. При наличии запретных данных, он автоматически отправляет письмо в папку «Спам». Однако, бывает и так, что спамные сообщения прорываются во «Входящие», но тут пользователь может сам определить информацию как спам.

Как настроить спам-фильтр

Многие пользователи зачастую не знают, как настроить спам-фильтр.В своей электронной почте можно найти меню с настройками и изучить параметры спам-фильтра. Если требуется, то их можно заменить на более благоприятный для Вас – натренировать спам-фильтр вручную. Это довольно просто, если учесть, что вся неприятные сообщения состоит из шаблонных писем, а работа спам-фильтров базируется по принципу исследования содержимого письма.

Как настроить спам-фильтр в Майл.ру, когда на почту каждодневно приходит куча сомнительных писем. Сделать это довольно просто. Достаточно зайти в настройки, выбрать пункт «правила фильтрации» и добавить фильтр. Там уже можно будет выбрать требуемые поля, которые будут отвечать за работу со спамами.

Таким образом можно поставить галочку у поля «удалить навсегда письмо, при совпадении условия». Если вдруг придет письмо с вопросом, что такое лиды в интернет-маркетинге и рекламе, то оно автоматически будет удалено.

Как настроить спам-фильтр в Яндексе, возможно, тоже Вас заинтересует. В основном, он не имеет какого-то отличия от установки в Майл.ру. В настройках потребуется зайти в раздел правил обработки писем. Задаём требуемые нам параметры в имеющихся пунктах и наслаждаемся пользованием электронной почты без всяких неудобств.

Как отключить спам-фильтр

Случается так, что многие письма бракуются и не доходят до пользователя, попадая в папку «Спам». Такие случаи приносят массу неудобств, и тогда возникает вопрос, как отключить спам-фильтр. Тут не нужно каких-то особых навыков, поскольку все довольно просто.

Для того чтобы отключить данную функцию почтового ящика, требуется зайти в меню «Настройки» и выбрать раздел «Защита от спама». Там можно уже непосредственно изменить уровень защиты на «Не фильтровать спам». Если вдруг Вы ждете специальное письмо с кратким пособием, что такое франшиза и как она работает, то оно уже не удалиться и не попадет в папку со спамом.

Отключить спам-фильтр можно и на домашней странице. Тогда потребуется просто зайти в меню «Инструменты», кликнуть на подраздел «Спам-фильтры» и отключить фильтрацию спама. Главное не забыть нажать на подтверждение.

Как проверить спам-фильтр

Бывает так, что после того как Вы настроили почту от рассылки спама, он всё равно прорывается. Тогда возникает вопрос, как проверить спам-фильтр. Сделать это довольно просто в настройках. Нужно лишь зайти в раздел, который отвечает за фильтрацию спама. Потому что бывает так, что пользователи после долгой и кропотливой настройки забывают нажать «сохранить».

Так или иначе Вы всегда сможете понять, что спам-фильтр успешно ведёт свою работу. Об этом будет говорить отсутствие сообщений, содержащих спам, или их количественное сокращение до минимума. Самым главным преимуществом контекстной рекламы является то, что она без ненавязчивых спамных сообщений, продвигает любой бизнес.

При постоянном взаимодействии со своей электронной почтой очень важно избегать различного рода спама. Это поможет избежать потери времени в поисках нужного сообщения и попадания на удочку злоумышленников. Советуем не избегать настройки спам-фильтра, чтобы избежать в будущем различных проблем.

Экономика спама остается непобедимой

Приняв с большой помпой в декабре прошлого года закон CAN-SPAM, законодатели США надеялись на помощь, которую он окажет в защите электронных почтовых ящиков от нежелательной рекламной корреспонденции. О законе до сих пор говорят и до сих пор не могут сойтись во мнениях — смог ли он побороть спам или оказался бесполезным.

Другая исследовательская фирма, Nucleus Research, провела в мае опрос сотрудников 82 компаний из списка наиболее прибыльных — Fortune 500. Цель опроса — та же: оценить силу антиспамерского закона. В результате выяснилось, что:

  • конечные пользователи стали получать спам на 45% чаще, чем 10 месяцев назад, — в среднем 29 писем в день против 13;
  • потери производительности компаний из-за спама выросли с 1,4% в 2003 году до 3,1% в 2004 г.;
  • эффективность технологий фильтрации спама упала с 26% до 20%. Исследователи Nucleus обнаружили, что в течение года спамеры боролись с усложнением фильтров увеличением количества писем, и метод показал себя успешным, поскольку корпорации не стали ставить более жесткие фильтры входящей корреспонденции.
Читать еще:  Гибкий настенный пленочный обогреватель

Среднемесячные убытки на одного человека, связанные с обработкой спама, $

Компания антиспамерского ПО Brightmail, недавно приобретенная Symantec, также приводит данные о росте потока нежелательной корреспонденции. Если в июле 2003 года ровно половина всех писем была назойливой рекламой, то год спустя количество почтового мусора составило уже 65%. Только в июле фильтры компании отсекли 4,13 млрд. писем-нарушителей.

Доля спама в общем количестве почтовых сообщений, %

Источник: по данным Symantec, июль 2004 г.

Добро должно быть с кулаками

Закон CAN-SPAM предусматривает ряд элементов, защищающих потребителей и бизнесменов. В нем установлены штрафы и тюремные сроки для спамеров, захватывающих для рассылок контроль над чужими компьютерами, не указывающих информацию об отправителе в заголовке письма или подставляющих туда имена и торговые марки третьих лиц. Закон требует, чтобы коммерческое письмо содержало обратный e-mail-адрес и идентификаторы настоящего отправителя, а также возможность получателя отписаться от рассылки. Кроме этого, CAN-SPAM требует от Федеральной торговой комиссии США составлять и вести запретный список e-mail-адресов «Do-Not-E-Mail», по аналогии со списком телефонов «не звонить», где содержатся номера отказавшихся получать какую-либо рекламу по телефону. (В июне 2004 года ФТК объявила, что сосредоточится на развитии технологии аутентификации писем перед тем, как развивать подобный список.)

Но, несмотря на «кулаки», которыми потрясает закон перед лицом спамеров, поток почтового мусора продолжает расти. В чем же причина? В первую очередь, спам по-прежнему экономически выгоден. Как отмечают эксперты, чтобы заработать $1 млн. в месяц, спамеру достаточно, чтобы один из двух тысяч получателей, т.е. 0,05%, сделал у него покупку на $20. Экономика спама остается непобедимой, а достать список из миллионов адресов или собрать его в интернете не составляет труда.

Тематическая структура спама на мировом рынке

Источник: по данным Symantec, июль 2004 г.

Россия «узаконит» спам

Компания «Ашманов и партнеры», подготовившая в прошлом году аналитический отчет «Спам: итоги 2003 года», прогнозирует, что 2004 год станет годом пика спама в Рунете и количество нежелательной рекламной корреспонденции составит 60-70%.

В конце июня в Государственную Думу поступил на рассмотрение закон против спама, который состоит из поправок к федеральному закону «О рекламе», к Уголовному кодексу РФ и к Кодексу РФ об административных правонарушениях. В процессе разработки законопроекта обнаружилось большое количество недостатков, которые резко снижают его эффективность. В частности, в законе не оговаривается механизм оценки масштабов рассылки. Основной идеей законопроекта является запрещение рассылки более 1000 писем в день лицам, не отказавшимся от получения, однако порядок отказа никак не регламентирован. В этом случае, с учетом отсутствия классификации легальной рекламной рассылки, спам в России может быть практически легализован. На данный момент ведется работа по усовершенствованию законопроекта.

Фильтры как панацея?

Существует множество технических способов предотвратить попадание спама в почтовые ящики — от простого отсева по ключевым словам и «черных списков» до систем с использованием элементов искусственного интеллекта. Однако, ни одна из технологий, используемая отдельно, не может полностью остановить поступление спама. Лучше всех показывает себя защита с использованием нескольких способов. Она проверяет заголовок, сигнатуры, URL и оборудована эвристическим фильтром.

  • Фильтры заголовков состоят из набора правил на основе шаблонов, свойственных спаму. Это и вставляемые программами массовых рассылок собственные названия, и поддельные поля «Received», и несоответствие временной зоны, указанной в письме, зоне, в которой находится подставленный сервер отправителя.
  • Фильтры сигнатур — подписей, характерных для каждой волны рассылок. Письма, в подавляющем большинстве случаев, или одинаковы, или имеют хоть какое-нибудь сходство. Спамерам удалось преодолеть фильтры сигнатур первого поколения, разбавляя спам случайными персонализированными вставками, а слова — незначащими HTML-тэгами. Так, слово «продам», нормально читающееся в HTML-виде, в тексте может выглядеть как «пр о дам». Но теперь фильтры умеют распознавать и такой спам, более того, само наличие таких тэгов — уже дополнительное указание на спам.
  • URL-фильтры отслеживают наличие ссылок, ведущих на рекламируемый сайт. Хотя в миллионах писем ссылка может быть той же самой, спамеры изменяют ее случайным образом, заменяя буквы на их цифровое значение со знаком процента, добавляя случайное имя пользователя и пароль перед ссылкой или путь после нее, что все равно приведет нажавшего к цели. Приведя такую строку в стандартный вид, фильтр тут же обнаруживает факт спама.
  • Эвристические фильтры анализируют письмо на наличие в нем определенного количества признаков, характерных для нежелательной рекламной почты. Как только сумма «весов» признаков достигает критического значения, письмо признается спамом. Единственный недостаток таких фильтров — сложность в настройке. Прежде, чем фильтр начнет корректно работать, его необходимо «натренировать». Иначе в корзину может попасть и легитимная корреспонденция.

На данный момент с уверенностью оценить реальную эффективность законов по борьбе со спамом сложно. Но, по крайней мере, подобные законы ставят спам вне закона и вдохновляют корпорации на судебное преследование нарушителей. Но главное слово в борьбе со спамом скажут, скорее всего, технологии.

Читать еще:  Как очистить от накипи стиральную машину автомат?

В июне 2004 года коалиция крупнейших интернет-провайдеров США выступила с инициативой создания системы борьбы с потоками спама. Yahoo, Microsoft, EarthLink, AOL, British Telecom и Comcast предложили создать общую систему технических средств противодействия массовым рассылкам. Среди прочего, предлагается ввести систему аутентификации отправителей по IP-адресу или цифровой подписи содержимого. Таким образом провайдеры надеются исключить подделку заголовков и обратных адресов — главного атрибута безнаказанности спамеров.

Но спам продолжает развиваться, а спамеры разрабатывают новые технологии борьбы с фильтрами. Чтобы эффективно бороться с ними, необходим комплексный подход — правовая база, «черные списки», проверки сигнатур и технологии распознавания URL.

Антиспам технологии

Средства, которыми спамеры маскируют нежелательную почту, постоянно усложняются. Одним из наиболее трудных для спам-фильтров случаев является графический спам, который может еще и содержать шум, затрудняющий распознавание текста. Как производители спам-фильтров борются с этой и другими современными уловками спамеров?

    Каталог решений и проектов ИБ — Антиспам

Содержание

2020: Минцифразвития предложило разработать механизм отзыва согласия на обработку персональных данных

6 февраля 2020 года стало известно, что Министерство цифрового развития, связи и массовых коммуникаций РФ предложило разработать механизм, позволяющий гражданам отзывать свое согласие на обработку персональных данных. Помимо прочего, это позволит им защитить себя от спама, считают в министерстве. Подробнее здесь.

Методы борьбы со спамом

Борьба со спамом начинается на сервере, занимающемся пересылкой сообщений, что выгоднее с точки зрения экономии трафика, дает большую точность работы и эффективнее, чем настраивать спам-фильтр почтового клиента.

Наиболее распространенный и старый способ борьбы со спамом – использование DNSBL (DNS Black Lists). Принцип его действия прост и заключается в блокировке всей почты, приходящей с IP-адреса, занесенного в черный список. Другой устоявшийся и давно прижившийся метод борьбы со спамом – контентная фильтрация. Потенциально нежелательное письмо проверяется на наличие специфических слов, фрагментов текста, картинок и других черт, характерных для спама. Третий метод – грейлистинг – основан на временном отказе. После того как подозрительное письмо пришло, на него автоматически отправляется ответ с кодом ошибки, понятный для всех почтовых систем. Спустя некоторое время система повторно присылает письмо, чего не делают программы, рассылающие спам.

Описанные методы имеют как плюсы, так и существенные недостатки. Например, метод контентной фильтрации может распознать важную информационную рассылку как спам, в результате чего письма не дойдут до получателей. Метод DNSBL хоть и гарантирует 100% блокировку потока с указанных IP-адресов, но спамеру несложно сменить адрес и продолжить рассылку.

Особую сложность для распознавания представляет графический спам, доля которого в общем потоке нежелательных сообщений составляет около 10%. В этом случае текст пишется на изображениях. Для борьбы с графическим спамом было найдено решение — применение систем оптического распознавания символов (OCR). Но у такого подхода есть существенные недостатки. Во–первых, OCR – крайне ресурсоемкая система и требует производительных машин. Во–вторых, подобные системы не обеспечивают должной точности определения. И, в–третьих, в ответ на применение программ, распознающих изображение для фильтрации спама, начали появляться новые «мусорные» письма в виде изображений с большим количеством шума. Шум проявляется в виде символов разного размера, разбиений текста таблицами и линиями. Все это делает практически невозможной регистрацию спама методом OCR.

Заглушить «шум», разобрать текст

Однако и спам-фильтры не стоят на месте. Для фильтрации графического спама, содержащего шум, используется вероятностно-статистический метод. В этом случае решение о том, содержит ли изображение текст, принимается на основании характера расположения вероятных графических образов слов и строк, а также содержания в них выявленных образов букв и слов. Иначе говоря, программа анализирует последовательности пикселей в изображении, прогнозируя вероятность обнаружения букв или слов, и при определенных распознает изображение как спам. Условиями могут служит длина слов, число символов и другие. В отличие от систем оптического распознавания символов, вероятностный метод работает с различными вариантами наклоненных или искаженных букв и слов, что повышает точность детектирования. Кроме того, новый метод обрабатывает изображения быстрее.

В области борьбы с текстовым спамом также появляются новые методы и способы анализа и борьбы с нежелательной почтой.

Все методы контентной фильтрации можно разделить на 2 класса. В первый попадают методы, основанные на анализе содержимого – контента — классическим примером является поиск регулярных фраз и выражений. Во второй – методы, основанные на анализе контекста – метаданных, например, анализ вложений или других атрибутов файла (размера, типа и т. д.). Характеристика любого движка контентной фильтрации связана с качеством принимаемых решений. Возможны 2 типа ошибок: принято «хорошее» решение при «плохом» письме и, наоборот, «плохое» решение при «хорошем». Старые способы реализации методов контекстной фильтрации были медленными, требовали больших библиотек, часто давали сбои и не могли работать с новым, еще не распознанным вручную спамом. Методы же нового поколения используют определенные правила – эвристики. Достоинства такого подхода в повышении скорости обработки письма, увеличении надежности и – существенный плюс — возможности регистрировать новые, еще не распознанные «мусорные» письма.

IBM X-Force: домен .ru вышел на первое место по количеству сайтов, распространяющих спам

Корпорация IBM опубликовала в сентябре отчет 2010 Mid-Year Trend and Risk Report, подготовленный группой исследований и разработок в области информационной защиты IBM X-Force. Согласно результатам исследования, начиная с февраля 2010 года Российский Интернет-домен (.ru) находится на первом месте по количество зарегистрированного на нем нежелательного контента (спама), обогнав такие домены, как .com, .net, .cn (Китай) и .info (см. Таблицу 1). По географическому местоположению источники спама распределились следующим образом: США (9.7% спама), Бразилия (8.4%), Индия (8.1%), Россия (5.3%), Вьетнам (4.6%, см. Таблицу 2). При этом более 60% зарегистрированных в Китае URL-адресов, содержащих спам, имеют домен высшего уровня .ru. Таким образом, согласно исследованию, типичное спам-сообщение рассылается с компьютера, физически расположенного в США, Индии или Бразилии, имеет URL-адрес на домене .ru, а его хостинг находится в Китае.

Читать еще:  Обогреватель на солярке: где можно применять, виды, расход топлива

Таблица 1. Самые распространенные домены высшего уровня, содержащие спам, 1 половина 2010г.

Таблица 2. Географическое распределение источников спама, 1 половина 2010 г.

Как отфильтровать спам и не потерять важные письма

04.10.2017 Советы от технической поддержки 0 Комментариев 1375

Нередка ситуация, когда в погоне за чистым почтовым трафиком системный администратор устанавливает такие настройки почтового шлюза, которые не только начисто избавляют организацию от спама, но и лишают ее сотрудников важных писем от контрагентов. Чтобы не пришлось искать виновных, поделюсь опытом, на что необходимо обратить внимание при настройке антиспам-модулей в системах информационной безопасности.

Больше половины почтового трафика в Интернете – чистый, незамутненный спам. Адресату он либо просто не нужен, либо опасен, так как это самый популярный у киберпреступников канал распространения вредоносных программ. Очевидно, его надо устранять из входящей почты, и для этого имеются эффективные и простые в настройке инструменты.

Однако случается, что администратор, установив систему информационной безопасности и настроив ее почтовый шлюз, лишает свою организацию входящей почты, полностью или частично. Бесследно исчезают письма от контрагентов, подрядчиков, контролирующих органов. Поздравляем победителя: спам он действительно отфильтровал. А теперь разберемся, как все-таки настроить почтовый шлюз, избавиться от спама, но сохранить полезные письма. «Разбор полетов» на примере антиспам-модулей комплексного решения информационной безопасности Traffic Inspector, которым сам пользуюсь.

Что именно делать с письмом, решает SMTP-шлюз Traffic Inspector на основе весового коэффициента, присвоенного антиспам-модулями. В настройках шлюза можно установить пороговые значения коэффициента и соответствующие действия. По умолчанию блокируется доставка сообщений с весовым коэффициентом более 100.


Настройки действий с письмом в SMTP-шлюзе Traffic Inspector

Коэффициент сообщения модифицируется двумя антиспам-модулями: Traffic Inspector Anti-Spam powered by Kaspersky и RBL SMTP Filter. Первый проверяет письма с помощью сигнатурного и лингвистического анализа. В его настройках можно установить предпочтительную агрессивность вердикта, дополнительные признаки спама, и определить, что делать с письмом – как изменять его весовой коэффициент, заголовки и тему.

Настройки действий с письмом в модуле Traffic Inspector Anti-Spam powered by Kaspersky

Второй модуль содержит перечень публичных RBL-служб. Эти сервисы ведут собственные «черные» и «серые» списки IP-адресов, считающихся источниками спама. Модуль RBL SMTP Filter опрашивает их все одновременно, рассылая IP-адрес отправителя. В ответ те сообщают, присутствует ли этот адрес в их списках, и, если присутствует, как именно он классифицируется.

Настройки действий с письмом в службе модуля RBL SMTP Filter

В настройках каждой службы можно установить, будет ли сообщение блокироваться, если отправитель есть в писке, и, если нет, как изменять его весовой коэффициент. Вот тут у администратора может возникнуть искушение включить блокировку по всем RBL, и навсегда избавиться от спама.

Так делать не стоит. Каждый RBL-сервис руководствуется собственными правилами по добавлению и удалению из списков. Попадают в «черный» список сервера с Open Relay (то есть принимающие к отправке письма от кого угодно), анонимные HTTP- и SOCKS-прокси, и целые подсети, из которых активно рассылается спам.

Нередки ситуации, когда вполне легитимный почтовый сервер попадает в один или несколько «серых» списков из-за действовавшего через него спамера. Администратор сервера, получив несколько жалоб от пользователей, что их письма не доходят, скорее всего, обратится к нескольким операторам RBL, чтобы те исправили ситуацию, но это занимает время, и какие-то RBL могут быть пропущены.

С попавшими в список подсетями ситуация еще сложнее – например, локальные провайдеры могут вообще игнорировать проблемы доставки почты от своих пользователей. В результате сервер будет «висеть» в списках одного-двух RBL долгое время, и все письма, отравленные через него, будут отбрасываться в случае включения бескомпромиссной блокировки на SMTP-шлюзе Traffic Inspector.

Решением этой проблемы и является система весовых коэффициентов. Но точное значение весового коэффициента, при котором стоит «рубить» сообщение, зависит от очень многих факторов – от числа активных RBL-служб в модуле RBL SMTP Filter, до размера и отрасли деятельности вашей организации.

Лучше всего устанавливать пороговый коэффициент динамически, исходя из результатов фильтрации, установив не блокировку, а маркировку спама. Соответственно, на почтовых клиентах нужно настроить перемещение маркированных писем в отдельную папку в почтовом ящике – так ценные письма точно не пропадут.

Если пользователи наблюдают ложноположительные срабатывания фильтров (то есть в папку для спама попадают легитимные письма) – коэффициент стоит повысить, если же много ложноотрицательных вердиктов (спам проходит через фильтры) – пора понижать. Полностью исключить ошибки фильтрации невозможно, но снизить уровень спама до долей процента – вполне реально. Лучшие результаты даст периодическая подстройка порогового коэффициента вслед за изменениями в спам-трафике.

Ссылка на основную публикацию
Adblock
detector