Визуальная среда разработки

 

jStart Beacon - система для создания, редактирования и развёртывания приложений собирающих, анализирующих и отображающих большие данные (Big Data). В состав системы входит визуальный web-based редактор приложений, включающий набор готовых компонентов для интеграции с источниками данных (файлы, базы данных, социальные сети). Пользователь может собирать модель из готовых компонентов, а также самостоятельно редактировать модель обработки потока данных в различных компонентах своей системы. Поддерживается просмотр результатов обработки данных в каждом компоненте в реальном времени, что позволяет оперативно отлаживать модель.

Система позволяет запускать пользовательские модели на кластере Storm, в облаке Cloud Foundry, либо развёртывать для выполнения моделей свой собственный кластер, основанный на контейнерах Docker. Потоки данных обрабатываются в реальном времени на одной из перечисленных выше распределённых систем, а результаты обработки визуализируются непосредственно на веб-клиенте. Возможен запуск моделей и топологий по расписанию.

Особенность решения в том, что создать свою собственную систему, анализирующую большие данные, может человек, не владеющий программированием.

Система спроектирована так, что может быть расширена дополнительными компонентами, предоставляющими доступ к большему числу источников и приёмников данных. Нашей компанией был, в частности, разработан базовый набор стандартных компонент, обеспечивающих доступ к информации из наиболее распространённых источников данных - файловая система, SQL базы данных, социальные сети. В настоящее время третьесторонние участники проекта разрабатывают дополнительные компоненты - например для работы с NoSQL базой данных mongoDB.


Технологии

Базовые технологии
Java, Play Framework
Хранение и работа с данными
IBM DB2, MySQL, OrmLite, Google Gson
Сбор и предварительная фильтрация потоковых данных
Twitter4J
Распределённая обработка потоковых данных
Apache Storm, Apache Solr
Лингвистические модели
Apache UIMA
Управление конфигурацией и развёртывание кластера
Apache ZooKeeper, Cloud Foundry, Docker
Веб-интерфейс, визуализация
D3.js, Google Maps, JUNG
Мы найдем лучшее решение вашей задачи!

Совпадений: 0