Задача

Предоставить пользователям, не владеющим программированием, возможность создавать свою собственную систему анализа больших данных.

Решение

jStart Beacon - система для создания, редактирования и развёртывания приложений собирающих, анализирующих и отображающих большие данные (Big Data). В состав системы входит визуальный web-based редактор приложений, включающий набор готовых компонентов для интеграции с источниками данных (файлы, базы данных, социальные сети). Пользователь может собирать модель из готовых компонентов, а также самостоятельно редактировать модель обработки потока данных в различных компонентах своей системы. Поддерживается просмотр результатов обработки данных в каждом компоненте в реальном времени, что позволяет оперативно отлаживать модель.

Система позволяет запускать пользовательские модели на кластере Storm, в облаке Cloud Foundry, либо развёртывать для выполнения моделей свой собственный кластер, основанный на контейнерах Docker. Потоки данных обрабатываются в реальном времени на одной из перечисленных выше распределённых систем, а результаты обработки визуализируются непосредственно на веб-клиенте. Возможен запуск моделей и топологий по расписанию.

Система спроектирована так, что может быть расширена дополнительными компонентами, предоставляющими доступ к большему числу источников и приёмников данных. Нашей компанией был, в частности, разработан базовый набор стандартных компонент, обеспечивающих доступ к информации из наиболее распространённых источников данных - файловая система, SQL базы данных, социальные сети. В настоящее время третьесторонние участники проекта разрабатывают дополнительные компоненты - например для работы с NoSQL базой данных mongoDB.


Технологии
Java
Play Framework
IBM DB2
MySQL
OrmLite
Google Gson
Twitter4J
Apache Storm
Apache Solr
Apache UIMA
Apache ZooKeeper
Cloud Foundry
Docker
D3.js
Google Maps
JUNG
Компания IBM успешно сотрудничает с компанией «Аксмор» уже несколько лет. На базе компании «Аксмор» мы организовали выделенный центр разработки для выполнения наших проектов.
Мы найдем лучшее решение вашей задачи