Max Home IndustryПодробная информация о следующей версии Apache Spark, бесплатной версии для сообщества облачной платформы больших данных Databricks и Dashboards, интерфейса для создания отчетов, была объявлена.
Объявления были сделаны на недавнем Spark Summit East Матей Захария, техническим директором Databricks и создателем Spark.
Apache Spark — это движок обработки данных с открытым исходным кодом, и Захария в своем выступлении на конференции сказал, что следующая основная версия, Spark 2.0, выйдет в апреле или мае этого года. В новой версии будет улучшена скорость в пять-десять раз; новый механизм структурированной потоковой передачи в реальном времени на SQL / фреймах данных; и унификация наборов данных и фреймов данных.
Новый механизм потоковой передачи построен на движке Spark SQL, а также поддерживает интерактивные и пакетные запросы, которые объединяют данные в поток, а затем обслуживают их с помощью JDBC.
Наряду с анонсом Spark 2, Databricks также объявила о выпуске бета-версии Databricks Community Edition, бесплатной версии облачной платформы больших данных. Databricks был основателем Apache Spark и самым крупным участником разработки Spark. Эта служба предоставит пользователям доступ к микрокластеру, а также к диспетчеру кластера и среде ноутбука. Идея состоит в том, что разработчики могут использовать среду для изучения Spark без необходимости настраивать и запускать собственную кластерную среду. Первоначальное развертывание бета-версии осуществляется только по приглашению. Более широкий доступ планируется в течение следующих нескольких месяцев, а общая доступность запланирована на конец второго квартала 2016 года.
Третье объявление — Databricks Dashboards, приложение для визуальных отчетов для кластеров Apache Spark, которое можно использовать для предоставления отчетов и интерактивных запросов. Панели мониторинга — это на самом деле альтернативный вид записной книжки Databrick, предназначенный для конечных пользователей, которые хотят видеть свои данные в разных представлениях. После создания панели управления ею можно поделиться с другими пользователями через ее URL-адрес. Панель мониторинга может быть создана с раскрывающимися меню, которые можно использовать для выбора или ввода параметров для изменения извлекаемых данных. Пользователям не нужно знать Spark или иметь доступ к критически важному коду. Панели мониторинга могут обновляться автоматически по мере изменения базовых данных.