Max Home IndustryApache Arrow теперь находится в версии 3.0. В обновленном выпуске улучшена поддержка спецификации столбчатого формата Arrow, переработана аутентификация в C ++, Java и Python, а также внесен ряд других улучшений в поддержку C ++. Новое в этом выпуске — поддержка Julia.
Apache Arrow — это платформа разработки для аналитики в памяти. В нем есть технологии, которые позволяют системам больших данных быстро обрабатывать и перемещать данные. Он не зависит от языка, может использоваться для плоских и иерархических данных, а хранилище данных организовано для эффективных аналитических операций. Он также предоставляет вычислительные библиотеки. В настоящее время поддерживаются следующие языки: C, C ++, C #, Go, Java, JavaScript, Julia, MATLAB, Python, R, Ruby и Rust.
В новом выпуске реализован столбчатый формат Arrow в C ++ и Java, а также улучшена поддержка проверки подлинности Flight в C ++, Java и Python, что позволяет использовать более гибкие методы проверки подлинности и использование стандартных заголовков. Также была добавлена поддержка файлов cookie.
Управление памятью C ++ также получило работу, поэтому пул памяти по умолчанию теперь можно изменить во время выполнения. Потоки в пуле потоков теперь создаются лениво по мере необходимости для задач, поставленных в очередь, вплоть до настроенной емкости.
Улучшения C # означают, что пакет .NET теперь имеет начальную поддержку клиентов и серверов Arrow Flight.
В этом выпуске поддержка Rust в Arrow получила ряд улучшений. Основной ящик Arrow был улучшен для разработчиков Rust, и все ящики проектов, включая Arrow, Parquet и DataFusion, теперь по умолчанию строятся на стабильном Rust. Parquet Writer для массивов Arrow теперь доступен, поэтому программы на Rust могут читать и записывать файлы Parquet, и его легче интегрировать с общей экосистемой Arrow.
Это первый выпуск, официально включающий реализацию для языка Julia. Чистая реализация Julia включает поддержку широкого охвата спецификации формата.