Перейти к содержанию

О проекте: Исследование и подготовка набора данных сетевого трафика CSE-CIC-IDS2018

1. Общая информация

Проект посвящен исследованию, профилированию и подготовке эталонного набора данных сетевого трафика CSE-CIC-IDS2018 (Collaborative Project of the Communications Security Establishment & Canadian Institute for Cybersecurity). Данный датасет является индустриальным стандартом для проектирования, тестирования и валидации современных систем обнаружения вторжений (IDS) и применения алгоритмов классификации методами машинного обучения.

В рамках проекта рассматриваются структурированные сетевые потоки (flows), содержащие как профили штатной сетевой активности (легитимный трафик), так и векторизованные следы целевых кибератак различных типов. Каждая запись в наборе данных представляет собой вектор статистических признаков, извлеченных из сетевых пакетов на транспортном и сетевом уровнях модели OSI.

Источники данных и происхождение CSE-CIC-IDS2018

Оригинальный датасет CSE-CIC-IDS2018 был разработан совместно Канадским институтом кибербезопасности (CIC) и Центром безопасности коммуникаций Канады (CSE). Трафик генерировался в масштабной облачной среде Amazon AWS и включает логи сетевых потоков, извлеченные с помощью утилиты CICFlowMeter-V3.

Официальные ресурсы:

2. Актуальность темы

Динамическое масштабирование корпоративных сетей и усложнение ландшафта киберугроз детерминируют жесткие требования к автоматизированным средствам сетевой безопасности. Традиционные сигнатурные методы обнаружения вторжений неэффективны против уязвимостей нулевого дня (Zero-Day) и комбинированных распределенных атак.

Применение математического аппарата машинного обучения позволяет выявлять скрытые паттерны и аномалии в сетевом поведении. Однако качество и обобщающая способность предимпликативных моделей напрямую зависят от чистоты исходной выборки. Сетевой трафик, собираемый в реальном времени, характеризуется высокой зашумленностью, наличием технических дефектов и экстремальным дисбалансом классов. Изучение структуры и корректная подготовка таких данных являются обязательным фундаментом для построения надежных систем информационной безопасности.

3. Цель и задачи проекта

Цель проекта: Исследование внутренней структуры датасета сетевого трафика, выявление системных аномалий, дефектов записи и комплексная подготовка признакового пространства для последующего применения в моделях классификации машинного обучения.

Задачи проекта:

  • Изучить архитектуру признаков и метрик сетевого трафика в датасете CSE-CIC-IDS2018.
  • Проанализировать структуру распределения целевой переменной и оценить степень дисбаланса классов.
  • Провести аудит данных на предмет пропусков, бесконечных значений и несоответствия типов данных.
  • Сформировать требования к очистке и трансформации исходных признаков.
  • Разработать аналитические визуализации для интерпретации взаимосвязей между признаками.
  • Подготовить валидный массив данных для последующего этапа математического моделирования.

4. Описание датасета

4.1. Происхождение данных и инфраструктура генерации

Набор данных разработан на базе инфраструктуры облака Amazon Web Services (AWS) специалистами Канадского института кибербезопасности. Симуляция сетевой активности включала в себя:

  • Изолированную топологию сети, состоящую из 50 целевых рабочих станций (сегмент жертв);
  • Выделенную инфраструктуру из 30 атакующих хостов;
  • Сбор сырого сетевого трафика в формате PCAP в течение 10 систематических сессий (дней).

Для извлечения числовых признаков из дампов PCAP использовалась специализированная утилита CICFlowMeter V3. Она группирует пакеты в двунаправленные сетевые потоки (Flows), определяемые по 5-сигнатурному ключу (IP-адрес источника/приемника, порт источника/приемника, тип протокола), и вычисляет более 80 математических и временных метрик для каждого потока.

4.2. Таксономия представленных категорий трафика

Датасет содержит дифференцированные записи, разбитые на укрупненные классы, отражающие профили реальных угроз:

  1. Benign: Эталонный легитимный трафик, сгенерированный в ходе выполнения стандартных пользовательских протоколов (HTTP, HTTPS, SSH, FTP, DNS).
  2. Brute Force (Грубый обход): Попытки несанкционированного доступа к сетевым службам посредством перебора учетных данных (FTP-BruteForce, SSH-BruteForce).
  3. DoS (Denial of Service): Атаки, направленные на исчерпание ресурсов сервера (памяти, процессора, пула соединений). Включают модификации: DoS-GoldenEye, DoS-Slowloris, DoS-SlowHTTPTest, DoS-Hulk.
  4. DDoS (Distributed Denial of Service): Распределенные атаки на отказ в обслуживании, реализованные на сетевом и прикладном уровнях: DDoS-LOIC-HTTP, DDoS-LOIC-UDP, DDoS-HOIC.
  5. Web Attacks: Уязвимости веб-приложений, инъецированные в HTTP-сессии: SQL Injection, Command Injection, Cross-Site Scripting (XSS).
  6. Infiltration: Проникновение внутрь защищенного периметра сети путем эксплуатации уязвимостей клиентского ПО с последующим сканированием локальной сети и развертыванием бэкдоров.
  7. Botnet: Трафик, генерируемый зараженными рабочими станциями при взаимодействии с командными серверами (C&C-серверы), смоделированный на базе малвари Ares.

4.3. Структура признакового пространства

80 признаков датасета разделяются на следующие ключевые категории:

  • Идентификаторы потока: Dst Port (Порт назначения), Protocol (Идентификатор транспортного протокола: TCP/UDP/ICMP).
  • Временные характеристики (Метрики длительности):
  • Flow Duration — общая длительность сетевого потока (в микросекундах).

  • Flow IAT (Inter-Arrival Time) — статистические показатели интервалов времени между пакетами (Mean, Std, Max, Min) раздельно для прямого (Fwd) и обратного (Bwd) направлений.

  • Объемные параметры трафика: Total Fwd Packets, Total Backward Packets — суммарное количество переданных и полученных пакетов в рамках сессии.

  • Скоростные характеристики:
  • Flow Bytes/s — скорость передачи данных (байт в секунду).

  • Flow Packets/s — интенсивность потока пакетов (пакетов в секунду).

  • Статистика длин пакетов: Fwd Packet Length Max/Min/Mean/Std, Bwd Packet Length Max/Min/Mean/Std — описывают геометрический профиль трафика.

  • Флаги заголовков TCP: Fwd PSH Flags, Bwd URG Flags, FIN Flag Count, SYN Flag Count, RST Flag Count, PSH Flag Count, ACK Flag Count — фиксируют наличие специфических управляющих бит, характерных для сканирования портов или атак типа SYN-Flood.
  • Параметры буферизации и окон: Init_Win_bytes_forward, Init_Win_bytes_backward — размер начального окна TCP, являющийся сильным дискриминативным признаком при идентификации операционной системы хоста.
  • Метрики активности состояний: Active Mean/Std/Max/Min (время активности потока перед переходом в режим ожидания), Idle Mean/Std/Max/Min (время нахождения потока в пассивном состоянии).
  • Целевой признак: Label — строковая метка, определяющая принадлежность потока к легитимному классу (Benign) или конкретному типу атаки.

5. Используемые технологии

Для реализации исследовательских задач развернут программный стек на базе языка Python 3:

  • Pandas: Основной инструмент для манипулирования табличными структурами данных, агрегации и векторизованной обработки столбцов.
  • NumPy: Проведение математических вычислений и оперирование системными константами числовых типов.
  • Matplotlib / Seaborn: Построение пакета статистических графиков, гистограмм плотности распределения и термальных карт корреляционных матриц.
  • Git / GitHub: Обеспечение контроля версий исходного кода и совместного доступа к материалам.
  • MkDocs: Генерация статического веб-сайта проекта для ведения проектной документации.

6. Исходные проблемы и дефекты в данных

Исходный массив данных CSE-CIC-IDS2018 содержит ряд критических дефектов, накладывающих ограничения на непосредственное применение математического аппарата моделей машинного обучения:

6.1. Пропущенные значения (NaN)

Локализованы нечисловые пустоты в столбцах скоростных характеристик. Возникают вследствие сбоев парсера утилиты CICFlowMeter при обработке незавершенных или поврежденных TCP-сессий, где невозможно корректно вычислить итоговые метрики.

6.2. Бесконечные значения (inf)

Выявлено присутствие значений положительной и отрицательной бесконечности в признаках Flow Bytes/s и Flow Packets/s. Данная аномалия возникает при нулевой длительности сетевого потока (Flow Duration = 0 микросекунд), что приводит к математической неопределенности деления на ноль при расчете удельной интенсивности.

6.3. Некорректные типы данных

Ряд числовых признаков изначально интерпретируется как текстовый тип (object). Причиной является замусоривание выборки дубликатами строк-заголовков с названиями колонок, возникшими на этапе конкатенации исходных CSV-файлов.

6.4. Экстремальный дисбаланс классов

Статистическое распределение целевой переменной Label смещено:

  • Легитимный трафик (Benign): ~87%
  • Суммарная доля сетевых атак: ~13%

Данный фактор требует предварительного учета при выборе метрик эффективности будущих моделей, исключая использование стандартной метрики Accuracy.