Комплексный аудит качества и интеллектуальный анализ эталонного датасета сетевой безопасности CSE-CIC-IDS2018

Добро пожаловать на научно-исследовательский веб-ресурс, посвященный всестороннему анализу, верификации и глубокой предобработке (Data Cleaning) масштабного набора данных сетевой активности CSE-CIC-IDS2018.

В рамках данного проекта выполнен полный цикл инженерной подготовки данных (Data Engineering): от аудита скрытых дефектов исходных файлов до построения отказоустойчивых моделей машинного обучения Random Forest (Случайный лес). Главная ценность работы заключается в обнаружении 10 критических системных и архитектурных ошибок в данных, которые делают невозможным прямое применение ИИ без предварительной подготовки, а также в успешном решении проблемы острого дисбаланса классов.

Подробная история и природа датасета: Что он из себя представляет?

Набор данных CSE-CIC-IDS2018 (Collaborative DDoS Detection Efficiency Dataset) на сегодняшний день является одним из мировых стандартов для оценки качества систем обнаружения вторжений (IDS). Он был разработан в 2018 году как совместный фундаментальный проект Канадского института кибербезопасности (CIC) при Университете Нью-Брансуика и Центра безопасности коммуникаций (CSE).

Архитектура стенда и генерация трафика

Для того чтобы воссоздать структуру трафика реального предприятия, авторы исследования развернули изолированную инфраструктуру на базе облака AWS, симулирующую организацию средних масштабов:

Сеть жертв (Victim Network): Включала в себя 5 изолированных организационных департаментов. Внутри функционировали более 420 физических и виртуальных рабочих станций под управлением Windows (10/8.1), а также 30 серверов, имитирующих работу Active Directory, почтовых серверов, веб-служб и баз данных. На этих машинах генерировался легитимный повседневный трафик сотрудников (веб-серфинг, отправка писем, протоколы SMB, RPC и т.д.).
Сеть атакующих (Attacker Network): Отдельная инфраструктура, из которой по четкому расписанию в течение 10 дней совершались спланированные кибератаки.

Типы зафиксированных сетевых инцидентов

За время работы стенда было проведено 14 видов структурированных атак, распределенных по дням недели: 1. Brute Force: Атаки методом грубого подбора паролей на протоколы SSH и FTP. 2. DoS (Denial of Service): Попытки вывода серверов из строя с помощью инструментов Slowloris, GoldenEye, Hulk и Slow HTTP Test. 3. DDoS (Distributed DoS): Массированные распределенные атаки, использующие протоколы прикладного и транспортного уровней (инструменты HOIC, LOIC через TCP/UDP). 4. Web Attacks: Уязвимости веб-приложений (SQL-инъекции, Cross-Site Scripting (XSS), Brute Force веб-форм). 5. Infiltration: Проникновение внутрь периметра сети через эксплуатацию уязвимостей ПО (например, Adobe Acrobat) с последующим сканированием сети изнутри и организацией ботнета (Botnet).

Как сырой трафик превратился в CSV

Сетевые пакеты перехватывались непосредственно с сетевых интерфейсов коммутаторов в сыром формате pcap. Суммарный объем логов составил сотни гигабайт. Чтобы превратить этот массив в структурированный вид, авторы применили проприетарную утилиту CICFlowMeter. Она сгруппировала отдельные пакеты в двунаправленные сетевые сессии (Flows) на основе правила 5-tuple (IP-адреса источника/назначения, порты, тип протокола) и рассчитала более 80 статистических признаков (длительность сессии, скорость передачи байт в секунду, средний интервал между пакетами, объем флагов TCP и т.д.). На выходе получилась серия CSV-таблиц по дням недели, содержащая миллионы строк.