AbuseHelper - AbuseHelper

AbuseHelper это проект с открытым исходным кодом, инициированный CERT.FI (Финляндия) и CERT.EE (Эстония) с ClarifiedNetworks для автоматической обработки уведомлений об инцидентах.

Этот инструмент разрабатывается для CERT (и Интернет-провайдеры ), чтобы помочь им в их повседневной работе по отслеживанию и работе с широким спектром источников информации большого объема. Фреймворк также может использоваться для автоматической обработки (стандартизованной) информации из широкого спектра источников.

Контекст

CERT и ISP должны обрабатывать очень большой объем уведомлений (Спам в электронной почте, Ботнет, ...). Эти уведомления часто нормализуются для каждого канала (каждый канал обычно использует разные форматы для отчета). Существует также много информации о злоупотреблениях в Интернете, доступной различными поставщиками каналов (Zone-H Зона-H [1], DShield Dshield [2], Zeus Tracker Зевс (троянский конь) [3]...). Доступен огромный объем информации, но он не используется должным образом, так как объем информации слишком велик для ручной обработки. AbuseHelper отслеживает ряд источников и создает отчеты и информационную панель для людей, которым необходимо обрабатывать все эти уведомления. AbuseHelper также автоматизирует обогащение информации, например поиск владельцев зарегистрированных IP-адресов из общедоступных баз данных (например, Кто ).

История

Технические разработки, которые привели к совместным усилиям по решению автоматизированного сбора информации о злоупотреблениях

2005 CERT-FI Autoreporter gen1, реализованный с помощью Perl
2006-2007 CERT-FI Autoreporter поколения 2 и 3 (дополнительные обновления до поколения 1). В планах переписать
2008-2009 CERT-FI Autoreporter gen4, экспериментальная реализация с использованием sh. Документ с описанием прототипа выиграл совместный конкурс FIRST.org и CERT / CC на лучшие практики и достижения в обеспечении безопасности компьютерных систем и сетей в 2009 году.
2009 CERT-FI gen5, реализованный на Python. Полная перезапись
2009-10 Начало сотрудничества Clarified Networks и CERT-EE Abusehelper
2009-11 Присоединение CERT-FI.
2010-01 первый публичный выпуск AbuseHelper
2010-01 Первый тренинг на мероприятии TF-CSIRT в Германии
2010-03 Присоединение CERT.BE (Бельгия) / BELNET CERT.
2011-07 CERT.IS (Исландия) присоединился к

Архитектура

AbuseHelper написан на Python и разработан на основе протокола XMPP (не обязательно) и агентов. Базовый принцип - управлять агентом через центральный чат, где все боты слушают. Агенты обмениваются информацией в подсобных помещениях. AbuseHelper масштабируется, и каждый агент следует KISS (Держать его просто глупо) подход. Каждый пользователь может создать идеальный рабочий процесс для своего бизнеса. Пользователю просто нужно взять нужных ему агентов и соединить их вместе.

Источники

Цель AbuseHelper - иметь возможность обрабатывать большую панель источников и пытаться извлечь полезную информацию для отслеживания событий. В настоящее время AbuseHelper может анализировать следующие типы источников:

электронное письмо, содержащее вложение ARF (формат отчета о злоупотреблениях) (например, CleanMX или abusix или же цискон C-SIRT);
электронное письмо с вложением CSV (может быть заархивировано) или URL-адрес файла CSV (например, ShadowServer);
IRC события (прямая трансляция);
События XMPP (прямая трансляция);
События DShield.

Сообщество работает над возможностью обрабатывать больше типов входных форматов. Каждый тип ввода обрабатывается отдельным ботом.

Внутренняя обработка информации

AbuseHelper - это больше, чем трубка. В рабочий процесс можно было бы добавить дополнительную информацию из других источников, например:

Whois для восстановления контактов со злоупотреблениями (обычно это люди, с которыми вы должны связаться, когда произошло что-то, связанное с безопасностью);
CRM (управление отношениями с клиентами) для получения той же информации, что и для Whois.

Выход

Поскольку AbuseHelper должен помогать справляться с инцидентами, также необходимо обрабатывать большие панели вывода. По умолчанию AbuseHelper может создавать следующие виды отчетов:

Почтовые отчеты с дайджестами событий и вложениями CSV со всеми наблюдаемыми событиями за определенный период времени при соблюдении некоторых условий;
Отчет вики - AbuseHelper написал инциденты в вики;
Отчет SQL - AbuseHelper записывает все события в базу данных SQL.

Общие агенты

На всех этапах есть несколько стандартных агентов:

Roomgraph для переноса событий из одной чат-комнаты в другую на основе некоторых правил;
Историк для регистрации всех событий, наблюдаемых в каждой чат-комнате.

Сообщество

AbuseHelper разработан сообществом разработчиков ПО с открытым исходным кодом, в состав которого входят:

Разъясненные сети [4]
CERT-FI (Финляндия) [5]
CERT.EE (Эстония) [6]
CERT.BE (Бельгия) / BELNET CERT [7] / [8]
CSC / FUNET (Финляндия)
Университет Оулу (OUSPG)