Max Home IndustryApache выпустил бета-версию Apache Arrow Flight, фреймворка для обмена данными с Arrow. Этот первый выпуск предназначен для оптимизации передачи столбчатого формата Arrow через gRPC, универсальную библиотеку и фреймворк RPC Google на основе HTTP / 2.
Flight разработан для решения проблемы, заключающейся в том, что основным носителем Apache Arrow являются данные в памяти, но не все системы могут быть размещены вместе. Arrow нужен слой RPC, и это то, что добавляет Apache Flight.
Apache Arrow — это столбчатый слой аналитики в памяти, который разрешает произвольный доступ. Он не зависит от языка, может использоваться для плоских и иерархических данных, а хранилище данных организовано для эффективных аналитических операций.
Flight обеспечивает управление потоками. Данные обрабатываются как «полеты», которые представляют собой поток пакетов записей Arrow, с которыми вы можете взаимодействовать, используя методы Get Stream и Put Stream.
Хотя этот выпуск Flight интегрирован только с gRPC, Apache намеревается добавить поддержку других библиотек.
Разработчики заявляют, что этот выпуск 0.15.0 включает в себя готовые к использованию реализации Flight на C ++ (с привязками Python) и Java, и что эти библиотеки подходят для пользователей бета-версии, которым удобны изменения API или протокола, в то время как команда продолжает совершенствовать некоторые низкоуровневые детали во внутренностях Flight.
Одной из важнейших функций, которая отличает Flight от других платформ передачи данных, является параллельная передача, позволяющая одновременно передавать данные в кластер серверов или из него. Это позволяет разработчикам более легко создавать масштабируемые службы данных, которые могут обслуживать растущую клиентскую базу.
Хотя это всего лишь бета-версия, разработчики заявляют, что при реальном использовании Dremio разработал соединитель на основе Arrow Flight, который, как было показано, обеспечивает в 20-50 раз лучшую производительность по сравнению с ODBC.