Ищу пример log data pattern recognition

Может быть, кому-нибудь попадался такой пример, в виде статьи с примерами кода, выложенного на GitHub, с использованием Mahout или SparkML.

Есть набор логов (например, логов web-сайта) и есть набор данных об известных шаблонах событий (например, аномальная активность пользователя), и нужно в этих логах эти аномальные события распознать: получая на вход лог, выявить, что в таких-то записях (или в группах, последовательностях записей) в логах найдена активность, соответствующая такому-то шаблону.

С первой попытки навскидку нагуглить ничего настолько конкретного пока не получилось.

Поделитесь ссылкой, если вам такое попадалось?

P.S.:
Можно и не про распознавание подозрительной активности пользователей сайта, а про что-нибудь ещё, но по такому же принципу работающее.

Підписуйтеся на Telegram-канал «DOU #tech», щоб не пропустити нові технічні статті

Теми: Data Analysis

Ctrl + Enter

Alexandr Sova Developer 01.06.2015 14:12

Я читаю вот этого человека. У него, правда, больше по анализу outliers чем по pattern matching, да и доменная область — финансовый фрод, но думаю применимо

Відповісти

Підтримати

Alexandr Sova Developer 01.06.2015 14:15

И да, система там как раз основана на Spark и прочих вкусностях

Alexandr Sova

Borys Busyk 31.05.2015 15:55

пиши сам :)

NoName 31.05.2015 15:23

на ютьюбе есть видео по биг дата — это очень похоже на то что тебе нада. Там пользуется спарк и скала или разные жаклы и порки. Одна из задач это как раз анализ логов, построение моделей и потом распознавание паттернов в стриминг дата.

NewType 31.05.2015 14:54

Не совсем по теме, но всё же очень интересная статья, найденная по ссылке одного из дайджестов здесь: rayli.net/...orithms-in-plain-english

Alexey Grigorev Переворачиватель пингвинов в фриланс 30.05.2015 12:58

Попробуйте погуглить «log mining» и «log mining site:github.com», возможно что-нибудь полезное найдется

Tim Tretyak ASM, TS Consultant в Hewlett Packard Enterprise 30.05.2015 11:07

Серебряной пули в этих процессах нет.
SIEM используют многоуровневую систему фильтрации и корреляции событий, магистральные IPS/NGFW выкусывают паттерны ASIC-ами, системы нижнего уровня тупо пользуют sed/awk
Все это намекает на то, что подход будет сильно разным от цели и сегмента, куда продукт позиционируется.

Sergii Voloshyn Product Manager в DOU.ua 29.05.2015 21:20

Я нагуглил такое: www.graylog.org и код открытый: github.com/Graylog2

Олексій Пєніє 29.05.2015 21:14

Обычно решают задачу от противного. Вместо того чтобы рыться в логах, сразу ставят целью журналирование событий. А вообще для разного ресурса разное поведение будет аномальным.

В общем случае аномальным является как раз таки равномерная нагрузка. Особенно если на странице есть ссылки, по которым ходят ну крайне редко. Это говорит об участии в DDOS-атаке.

Нормальным поведением пользователя является зависание на какой-либо странице на определённое время. Если этого не происходит — скорее всего бот. Вот только ты этим фильтром можешь сильно обидеть поисковых роботов.

Как видишь, первичная задача решается не отсевом аномальной активности, а как раз таки журналированием нормальной. Отсутствие нормальной — уже звоночек, и повод понизить юзеру приоритеты. В частности имеет смысл пустить его запросы с запретом обновления инфы в кеше.

NewType 29.05.2015 21:21

На самом деле, выявление аномальной активности юзеров — это всего лишь пример.

Меня интересовали именно техники работы с данными, применение алгоритмов (machine learning, data mining, вот это всё): выявление паттернов в больших наборах данных. Живой пример с разбором в статье и/или с кодом на GitHub.

Олексій Пєніє

reality_hacker 30.05.2015 19:11

Выпарсить числа из логов это твоя задача, примеров под твой формат логов естественно ты не найдешь.
А когда числа есть под популярные тулкиты наверняка есть примеры, например: github.com/twitter/AnomalyDetection
scikit-learn.org/...ot_outlier_detection.html

Спасибо что разрешил погуглить за тебя!

NewType

anonymous 29.05.2015 17:51

Ищу пример log data pattern recognition

12 коментарів

Підписатись на коментарі