Max Home IndustryKylin 3.0 был выпущен Apache с улучшениями, включая поддержку OLAP в реальном времени, интеграцию с Apache Livy и планировщик заданий на основе куратора.
Kylin — это механизм распределенной аналитики с открытым исходным кодом, предназначенный для обеспечения интерфейса SQL и многомерного анализа (OLAP) на Apache. Первоначально он был разработан на eBay, прежде чем стать проектом Apache. Kylin OLAP Engine состоит из механизма метаданных, механизма запросов, механизма заданий и механизма хранения. Он также включает REST-сервер для обслуживания клиентских запросов. Механизм запросов основан на Apache Calcite.
В то время как предыдущие выпуски Kylin имели поддержку OLAP, основным улучшением нового выпуска является возможность Kylin реализовать задержку подготовки данных на уровне миллисекунд для потоковой передачи данных из таких источников, как Apache Kafka. Это означает, что Kylin теперь может поддерживать OLAP ниже второго уровня с использованием исторических пакетных данных, потоковую передачу почти в реальном времени, а также потоковую передачу в реальном времени. Команда Kylin заявляет, что теперь вы можете использовать одну платформу OLAP для обслуживания различных сценариев. Новая функциональность исходит от недавно представленных компонентов приемника и координатора реального времени Kylin.
Второе заметное улучшение — это возможность отправлять задания Spark через Apache Livy. Livy — это инкубирующий проект Apache, который предоставляет службу, которая может использоваться для взаимодействия с кластером Spark через интерфейс REST. Он позволяет отправлять программные, отказоустойчивые, многопользовательские задания Spark из веб-приложений и мобильных приложений без использования клиента Spark. Это означает, что несколько пользователей могут одновременно и надежно взаимодействовать с вашим кластером Spark.
Новая поддержка в Kylin означает, что администратор может настроить Kylin для интеграции с Livy для отправки заданий Spark. Задание Spark отправляется на Livy Server через REST API Livy вместо того, чтобы запускать процесс Spark Driver локально. Это позволяет управлять ресурсами Spark и отслеживать их, а также снижает нагрузку на узлы, на которых работает сервер заданий Kylin.
Последнее серьезное улучшение — добавление планировщика заданий на основе куратора. Это автоматически обнаруживает узлы Kylin и выполняет автоматический выбор лидера среди них, чтобы выбрать узел, который будет отправлять задания. Команда Kylin заявляет, что с помощью этой функции вы можете легко развертывать и масштабировать узлы Kylin без ручного обновления адреса узла в свойствах kylin и необходимости перезапуска Kylin, чтобы изменения вступили в силу.
Kylin 3 доступен для загрузки с веб-сайта Kylin.