Apache Kylin добавляет поддержку СУБД

Apache Kylin 2.1 был выпущен с новыми функциями, включая поддержку СУБД и возможность редактировать JSON модели метаданных непосредственно в Интернете.

Kylin — это аналитическое решение с открытым исходным кодом. Первоначально он был разработан на eBay, прежде чем стать проектом Apache. Он имеет интерфейс SQL и может использоваться для выполнения многомерного анализа OLAP в Hadoop, поддерживающем чрезвычайно большие наборы данных.

Kylin OLAP Engine состоит из механизма метаданных, механизма запросов, механизма заданий и механизма хранения. Он также включает REST-сервер для обслуживания клиентских запросов. Механизм запросов основан на Apache Calcite.

Apache Kylin v2.0.0 представил новый движок кубов на основе Apache Spark, который можно выбрать для замены исходного движка MapReduce. По умолчанию Kylin использует MapReduce Cube Engine, построенный на платформе Hadoop MapReduce, для агрегирования исходных данных. Первоначальные испытания показали, что движок Spark в большинстве случаев может сократить время сборки до 50%. В версии 2 также добавлена поддержка модели данных снежинки и запросов TPC-H.

Apache Kylin позволяет запрашивать массивные наборы данных в три этапа:

Определите звездообразную схему в Hadoop.

Постройте куб из указанных таблиц.

Запрашивайте с помощью ANSI-SQL и получайте результаты за доли секунды через ODBC, JDBC или RESTful API.

Kylin в настоящее время предлагает возможность интеграции с инструментами бизнес-аналитики, включая Tableau, PowerBI и Excel. Скоро интеграция с Microstrategy.

Новый выпуск является основным выпуском после 2.0, с более чем 100 исправлениями ошибок и улучшений.

Добавление поддержки источников данных РСУБД означает, что данные в таких форматах, как Oracle, SQL Server и MySQL, могут использоваться в анализе. Такие инструменты, как Apache Sqoop, также можно использовать для экспорта данных из СУБД в HDFS, чтобы Kylin упростил получение данных и последующее их встраивание в кубы.

Второе улучшение добавляет возможность редактировать метаданные JSON. В предыдущей версии, когда метаданные модели были повреждены, единственным способом исправить метаданные было использование bin / metastore.sh. Этот новый выпуск позволяет администратору редактировать JSON модели прямо в Интернете.

Другие улучшения включают улучшенную обработку подзапросов и маршрутизацию неподдерживаемых запросов обратно к источнику.