Мониторинг блогосферы и поиск потенциальных угроз безопасности

Анализ контента форумов и блогов для обнаружения информации о планируемых хакерских атаках.

Задача

Наш заказчик решил разработать сервис, который позволит анализировать контент сторонних веб-сайтов (например, форумов и блогов) и обнаруживать информацию о планируемых хакерских атаках и других противоправных действиях. Заказчика заинтересовал наш опыт в обработке больших массивов данных и анализе мнений пользователей социальных сетей, поэтому он выбрал наших программистов для разработки прототипа своего сервиса.

Решение

Компания «Аксмор» создала рабочий прототип сервиса, который позволяет собирать информацию из разнородных интернет-ресурсов, анализировать её и своевременно предупреждать пользователей о планируемых хакерских атаках и других противоправных действиях. Разработанный сервис состоит из веб-интерфейса для управления параметрами сбора и анализа информации, сервера для сканирования сторонних веб-сайтов, базы данных для хранения результатов сканирования и системы уведомлений пользователей об обнаружении потенциальных угроз. Этот сервис предназначен для банков и компаний, которым важно отслеживать в Интернете информацию, способную нанести вред их бизнесу.

Технологии
C#
JavaScript
ASP.NET MVC
Microsoft SQL Server
Windows
Tor
Bootstrap
GeckoFx
Функциональные возможности решения
1
Управление пользователями

Администраторы сервиса регистрируют новых пользователей и настраивают для каждого пользователя индивидуальную функциональность личного кабинета, исходя из выбранного тарифного плана.

2
Конфигурирование сервиса

В личном кабинете пользователи указывают список веб-сайтов для сканирования и список поисковых слов, по которым они хотят получать информацию. В качестве поисковых слов могут выступать, например, название банка, номер банковской карты, имя конкретного человека и многое другое. Пользователи также указывают адреса электронной почты для получения оперативных уведомлений об обнаружении потенциальных угроз.

3
Сканирование веб-сайтов

Разработанный сервис сканирует сторонние веб-сайты эмулированием последнего действия пользователя, чтобы обойти защиту этих интернет-ресурсов от ботов. Кроме того, мы используем распределённую сеть серверов луковой маршрутизации (Tor) для обеспечения анонимности трафика.

4
Поиск по результатам сканирования

Результаты сканирования веб-сайтов сохраняются в базу данных в зашифрованном виде. Мы разработали конструктор запросов, который позволяет создавать и сохранять сложные поисковые запросы из заданного списка поисковых слов с использованием логических операторов. Созданные таким образом запросы используются для поиска по результатам сканирования, сохранённым в базе данных. При этом разработанное решение осуществляет полнотекстовый SQL-поиск с учётом морфологии. Из результатов поиска затем удаляются все дубликаты, а оставляются только уникальные данные.

5
Уведомления об угрозах

Пользователи получают уведомления на электронную почту, если по результатам сканирования разработанный сервис обнаружил информацию, относящуюся к заданному списку поисковых слов.

6
Аналитика

В личном кабинете пользователям доступна информация о количестве и содержании отправленных уведомлений за выбранный период.

Результат
Компания «Аксмор» интегрировала разработанный сервис с Твиттером, что позволяет пользователям публиковать в своём аккаунте в Твиттере получаемые уведомления о потенциальных угрозах. Эта функциональность особенно интересна банкам, которые могут оперативно информировать своих подписчиков в Твиттере, например, о номерах банковских карт мошенников.
Мы найдем лучшее решение вашей задачи