Max Home IndustryБыл выпущен Apache Spark 2.2, в котором структурированная потоковая передача больше не является экспериментальной. Соответствующий выпуск PySpark также доступен в pypi.
Spark — это механизм обработки данных Apache для обработки и анализа больших объемов данных. Он реализован на Scala и Java, работает в кластере и, пока в кластере достаточно оперативной памяти для хранения анализируемых данных, обеспечивает отличную производительность. По данным Apache, он улучшает производительность Hadoop MapReduce, выполняя программы до 100 раз быстрее в памяти и в 10 раз быстрее на диске. Все больше и больше проектов могут выполняться поверх Spark, включая GraphX для анализа графов, Spark SQL для запросов к структурированным данным внутри программ Spark; Spark Streaming для масштабируемых отказоустойчивых потоковых приложений; и MLib для алгоритмов машинного обучения.
Apache Spark 2.2.0 — третий выпуск в линейке 2.x. Улучшение заголовка — это удаление экспериментального тега из структурированной потоковой передачи. Это API, представленный в прошлом году в экспериментальной версии. API позволяет вам выразить потоковые вычисления так же, как вы бы выразили пакетные вычисления для статических данных.
Механизм Spark SQL позаботится о его постепенном и непрерывном запуске и обновит окончательный результат по мере поступления потоковых данных. Вы можете использовать Dataset / DataFrame API в Scala, Java, Python или R для выражения потоковых агрегатов, окон времени событий и соединений потока с пакетом. Структурированная потоковая передача обеспечивает простой способ создания приложений сквозной потоковой передачи, которые реагируют на данные в режиме реального времени, а такие аспекты, как обслуживание запросов или взаимодействие с пакетными заданиями, обрабатываются как часть потокового приложения.
В новом выпуске также добавлена поддержка Apache Kafka 0.10 как для чтения, так и для записи с использованием потокового и пакетного API. Новые функции также были добавлены в SparkR, Python, MLlib и GraphX. MLib и GraphX имеют новые алгоритмы для хеширования с учетом местоположения, многоклассовой логистической регрессии и персонализированного pageRank. SparkR теперь поддерживает ряд распределенных алгоритмов, в частности
ALS
Изотоническая регрессия
Многослойный классификатор персептронов
Случайный лес
Модель гауссовой смеси
LDA
Мультиклассовая логистическая регрессия
Деревья с градиентным усилением
Структурированный потоковый API для R
функции столбцов to_json, from_json для R
Многостолбцовый ок. Квантиль в R
Другое главное улучшение заключается в том, что PySpark (API-интерфейс Spark Python, который предоставляет модель программирования Spark для Python) теперь доступен в pypi и может быть установлен с помощью pip install.