AbuseHelper - AbuseHelper
Эта статья имеет нечеткий стиль цитирования.Декабрь 2015 г.) (Узнайте, как и когда удалить этот шаблон сообщения) ( |
AbuseHelper это проект с открытым исходным кодом, инициированный CERT.FI (Финляндия) и CERT.EE (Эстония) с ClarifiedNetworks для автоматической обработки уведомлений об инцидентах.
Этот инструмент разрабатывается для CERT (и Интернет-провайдеры ), чтобы помочь им в их повседневной работе по отслеживанию и работе с широким спектром источников информации большого объема. Фреймворк также может использоваться для автоматической обработки (стандартизованной) информации из широкого спектра источников.
Контекст
CERT и ISP должны обрабатывать очень большой объем уведомлений (Спам в электронной почте, Ботнет, ...). Эти уведомления часто нормализуются для каждого канала (каждый канал обычно использует разные форматы для отчета). Существует также много информации о злоупотреблениях в Интернете, доступной различными поставщиками каналов (Zone-H Зона-H[1], DShield Dshield[2], Zeus Tracker Зевс (троянский конь) [3]...). Доступен огромный объем информации, но он не используется должным образом, так как объем информации слишком велик для ручной обработки. AbuseHelper отслеживает ряд источников и создает отчеты и информационную панель для людей, которым необходимо обрабатывать все эти уведомления. AbuseHelper также автоматизирует обогащение информации, например поиск владельцев зарегистрированных IP-адресов из общедоступных баз данных (например, Кто ).
История
Технические разработки, которые привели к совместным усилиям по решению автоматизированного сбора информации о злоупотреблениях
- 2005 CERT-FI Autoreporter gen1, реализованный с помощью Perl
- 2006-2007 CERT-FI Autoreporter поколения 2 и 3 (дополнительные обновления до поколения 1). В планах переписать
- 2008-2009 CERT-FI Autoreporter gen4, экспериментальная реализация с использованием sh. Документ с описанием прототипа выиграл совместный конкурс FIRST.org и CERT / CC на лучшие практики и достижения в обеспечении безопасности компьютерных систем и сетей в 2009 году.
- 2009 CERT-FI gen5, реализованный на Python. Полная перезапись
- 2009-10 Начало сотрудничества Clarified Networks и CERT-EE Abusehelper
- 2009-11 Присоединение CERT-FI.
- 2010-01 первый публичный выпуск AbuseHelper
- 2010-01 Первый тренинг на мероприятии TF-CSIRT в Германии
- 2010-03 Присоединение CERT.BE (Бельгия) / BELNET CERT.
- 2011-07 CERT.IS (Исландия) присоединился к
Архитектура
AbuseHelper написан на Python и разработан на основе протокола XMPP (не обязательно) и агентов. Базовый принцип - управлять агентом через центральный чат, где все боты слушают. Агенты обмениваются информацией в подсобных помещениях. AbuseHelper масштабируется, и каждый агент следует KISS (Держать его просто глупо) подход. Каждый пользователь может создать идеальный рабочий процесс для своего бизнеса. Пользователю просто нужно взять нужных ему агентов и соединить их вместе.
Источники
Цель AbuseHelper - иметь возможность обрабатывать большую панель источников и пытаться извлечь полезную информацию для отслеживания событий. В настоящее время AbuseHelper может анализировать следующие типы источников:
- электронное письмо, содержащее вложение ARF (формат отчета о злоупотреблениях) (например, CleanMX или abusix или же цискон C-SIRT);
- электронное письмо с вложением CSV (может быть заархивировано) или URL-адрес файла CSV (например, ShadowServer);
- IRC события (прямая трансляция);
- События XMPP (прямая трансляция);
- События DShield.
Сообщество работает над возможностью обрабатывать больше типов входных форматов. Каждый тип ввода обрабатывается отдельным ботом.
Внутренняя обработка информации
AbuseHelper - это больше, чем трубка. В рабочий процесс можно было бы добавить дополнительную информацию из других источников, например:
- Whois для восстановления контактов со злоупотреблениями (обычно это люди, с которыми вы должны связаться, когда произошло что-то, связанное с безопасностью);
- CRM (управление отношениями с клиентами) для получения той же информации, что и для Whois.
Выход
Поскольку AbuseHelper должен помогать справляться с инцидентами, также необходимо обрабатывать большие панели вывода. По умолчанию AbuseHelper может создавать следующие виды отчетов:
- Почтовые отчеты с дайджестами событий и вложениями CSV со всеми наблюдаемыми событиями за определенный период времени при соблюдении некоторых условий;
- Отчет вики - AbuseHelper написал инциденты в вики;
- Отчет SQL - AbuseHelper записывает все события в базу данных SQL.
Общие агенты
На всех этапах есть несколько стандартных агентов:
- Roomgraph для переноса событий из одной чат-комнаты в другую на основе некоторых правил;
- Историк для регистрации всех событий, наблюдаемых в каждой чат-комнате.
Сообщество
AbuseHelper разработан сообществом разработчиков ПО с открытым исходным кодом, в состав которого входят:
- Разъясненные сети [4]
- CERT-FI (Финляндия) [5]
- CERT.EE (Эстония) [6]
- CERT.BE (Бельгия) / BELNET CERT [7] / [8]
- CSC / FUNET (Финляндия)
- Университет Оулу (OUSPG)
Рекомендации
По состоянию на это редактирование, в этой статье используется контент из «Мастерские BruCON 2010», который лицензирован таким образом, чтобы разрешить повторное использование в соответствии с Creative Commons Attribution-ShareAlike 3.0 Непортированная лицензия, но не под GFDL. Все соответствующие условия должны быть соблюдены.
- https://github.com/abusesa/abusehelper
- https://web.archive.org/web/20100922054126/http://2010.hack.lu/index.php/Workshops#AbuseHelper_Workshop
- http://2010.brucon.org/index.php/Мастерские
- https://www.clarifiednetworks.com/collab/abusehelper[постоянная мертвая ссылка ] CollabWiki of AbuseHelper (доступ на основе приглашения)
- Репозиторий исходного кода Bitbucket: [9]
- CERT.BE [10]