Max Home IndustryВыпущена новая бесплатная IDE, которая позволяет создавать, тестировать и запускать приложения Apache Spark на вашем рабочем столе. Visual Spark Studio — это бесплатная урезанная версия платформы Impetus StreamAnalytix. Он предоставляет легкий инструмент разработки для обработки и анализа данных Spark.
Apache Spark — это платформа кластерных вычислений общего назначения с встроенной поддержкой распределенного SQL, потоковой передачи, обработки графиков и машинного обучения.
Новую среду IDE можно использовать для создания приложений Spark как для пакетного, так и для потокового режима. Это бесплатный легкий продукт для быстрого запуска, представляющий собой версию StreamAnalytix только для Spark (платформа с открытым исходным кодом корпоративного уровня для потоковой обработки и машинного обучения). Visual Spark Studio поддерживает интерфейс StreamAnalytix и готовые операторы для выбора, перетаскивания, подключения и настройки соединителей для создания полнофункционального конвейера Spark.
IDE может использоваться для получения данных из ряда локальных источников данных и целевых объектов данных и включает в себя все возможности StreamAnalytix для аналитики и машинного обучения на одном экземпляре. Также есть возможность экспортировать и масштабировать конвейеры в многоузловой кластер Spark с помощью корпоративной версии StreamAnalytix.
В Visual Spark Studio есть операторы перетаскивания для источника, приемника, преобразования и аналитики данных, или вы можете использовать настраиваемую логику с операторами Java и Scala. Есть конструктор конвейера для разработки приложений и встроенные панели мониторинга для визуализации данных в реальном времени. Источники данных, в которые вы можете записывать, включают HDFS, Kafka, RDBMS и Solr, и есть встроенные
операторы для прогнозных моделей, Spark MLlib, ML и PMML для переноса моделей.
Visual Spark Studio доступен для Windows, Linux и Mac, и хотя цель разработчиков, очевидно, состоит в том, чтобы побудить вас перейти на StreamAnalytix, Spark Studio предлагает полезный способ разобраться со Spark и лежащими в его основе концепциями.