Идентификация аномалий по логам компьютерных систем с помощью NLP-методов

В данной работе рассматривается проблема детекции аномалий в компьютерных системах на примере базы данных Vertica по их логам для обеспечения надежной работы. Предлагается подход, сочетающий методы машинного обучения с частичным привлечением учителя (Semi-Supervised Learning) и NLP-алгоритмы (fastText, TF-IDF). Исследование проводится на реальных данных из лог-файлов Vertica крупной IT-компании, содержащих периоды нормального функционирования и аномалий, приведших к отказу. Протестированы раз- личные алгоритмы детекции аномалий. Результаты визуализированы в виде графиков аномальности, определяющих временные интервалы с превышением порогового уровня, рассчитанного для штатного режима. Предложенный подход демонстрирует применимость теоретических методов на практике для решения актуальной задачи обеспечения надежности компьютерных систем.