ML-модели

ML-модель – это алгоритм, основанный на методах машинного обучения, задачей которого является анализ телеметрии объекта мониторинга и обнаружение аномалий.

ML-модель создается для конкретного объекта мониторинга с учетом особенностей объекта и характеристик данных телеметрии. При создании ML-модели формируется общая структура алгоритма (архитектура), после чего ML-модель обучается на исторических данных телеметрии, таким образом настраиваясь на особенности поведения конкретного объекта.

ML-модель состоит из одного или нескольких элементов, каждый из которых представляет собой самостоятельную ML-модель, а общий результат работы службы Anomaly Detector складывается из объединения результатов инференса элементов ML-модели. Как правило, чем сложнее технологические процессы объекта мониторинга, тем больше элементов будет содержать ML-модель.

Инференс – это работа ML-модели с данными телеметрии для выявления аномального поведения. В Kaspersky MLAD инференс ML-модели может выполняться как на исторических данных (исторический инференс), так и данных телеметрии, поступающих в режиме реального времени (потоковый инференс). В случае запуска исторического инференса для нескольких ML-моделей, Kaspersky MLAD выполняет инференс этих ML-модели в порядке очереди их запуска. Длительность выполнения исторического инференса определяется интервалом времени данных, которые анализирует ML-модель. В случае запуска потокового инференса для нескольких ML-моделей, Kaspersky MLAD выполняет инференс этих ML-моделей одновременно. Выполнение исторического и потокового инференса происходит параллельно и независимо друг от друга.

В процессе инференса ML-модель регистрирует инциденты, которые можно просмотреть в разделе Инциденты.

ML-модели могут быть созданы специалистами "Лаборатории Касперского" или сертифицированным интегратором в рамках Услуги построения модели и внедрения Kaspersky MLAD. Для использования таких ML-моделей требуется загрузить их в Kaspersky MLAD. Вы также можете самостоятельно создавать ML-модели и добавлять в них нужные элементы с помощью конструктора моделей.

ML-модель может включать в себя следующие элементы, работающие параллельно:

• Элемент на основе нейронной сети;
• Элемент на основе диагностического правила.

В Kaspersky MLAD ML-модели может быть присвоен один из следующих статусов:

• Не активирована – ML-модель импортирована, но не активирована.
• Черновик – ML-модель активирована или ML-создана вручную и в составе этой модели есть необученные нейросетевые элементы.
• Обучена – Все элементы в составе ML-модели обучены. Для обученной ML-модели может быть запущен инференс.
• Готова к публикации – ML-модель подготовлена к публикации и недоступна для изменений.
• Опубликована – ML-модель опубликована. Для опубликованной ML-модели может быть запущен инференс.

Элемент ML-модели на основе нейронной сети

Наиболее распространенным типом ML-моделей является нейронная сеть, которая предсказывает поведение объекта на основе данных о его поведении в ближайшем прошлом. В основе этой ML-модели лежит детектор Forecaster.

Если отличие предсказания модели от фактически наблюдаемых значений превышает определенный порог, то детектор Forecaster считает, что обнаружил отклонение в поведении объекта мониторинга и регистрирует инцидент. Суммарный показатель отличия предсказанных значений от фактических (суммарная ошибка прогноза) в пользовательском интерфейсе условно обозначается MSE (mean squared error).

График значений MSE и порог MSE, при превышении которого детектор Forecaster регистрирует инцидент, выводятся в разделах Мониторинг и История под графиками тегов. Если в ML-модели содержится несколько элементов, вы можете выбрать элемент модели для просмотра значений MSE, рассчитанных этим элементом.

Конструктор моделей Kaspersky MLAD поддерживает следующие архитектуры нейронной сети для элементов ML-модели:

• Dense. Элемент ML-модели с полносвязной архитектурой. При создании элемента ML-модели указывается множители для вычисления количества нейронов на внутренних слоях и функции активации на них.
• TCN. Элемент ML-модели с иерархической по времени сверточной архитектурой. При создании элемента ML-модели указывается функция активации, размер фильтров, расширения на слоях и количество кодирующих блоков.
• CNN. Элемент ML-модели со сверточной архитектурой. При создании элемента ML-модели указывается количество сверточных слоев, размер и количество фильтров на слоях и размер окна выборки максимума (MaxPooling).
• RNN. Элемент ML-модели с рекуррентной архитектурой. При создании элемента ML-модели указывается количество GRU-нейронов на слоях, а также количество распределенных по времени нейронов на слоях декодирующего блока.
• Transformer. Элемент ML-модели с архитектурой Transformer. При создании элемента ML-модели указывается количество голов внимания и количество кодирующих блоков Transformer.

Элемент ML-модели на основе диагностического правила

Диагностические правила описывают заранее известные особенности поведения объекта мониторинга, проявление которых вы считаете аномалией. Диагностические правила должны быть формализованы и должны вычисляться на основе доступной телеметрии объекта. В основе диагностических правил лежит детектор Rule Detector.

Диагностические правила формулируются предметными экспертами и реализуются специалистами "Лаборатории Касперского" или сертифицированным интегратором в виде сериализованной структуры правила в виде JSON-файла. Вы также можете сформулировать диагностические правила самостоятельно с помощью конструктора моделей.

Примеры диагностических правил:

• значение тега А не меняется в течение минуты;
• за последние 12 часов тег Б имеет тренд на повышение, при этом тег B имеет тренд на понижение, а тег C не имеет выраженной динамики;
• значение тега Х упало ниже 2800 при условии, что до этого оно поднималось выше 2900.