Hadoop 3.3 добавляет поддержку ARM

Hadoop был обновлен с улучшениями, включая поддержку архитектур ARM, поддержку среды выполнения Java 11 и улучшения S3A.

Hadoop — это платформа, которая может использоваться для обработки больших наборов данных в кластерах компьютеров с использованием простых моделей программирования. Он включает файловую систему HDFS, структуру YARN для планирования заданий и управления ресурсами кластера, а также высокую доступность файловой системы HDFS, а также MapReduce, структуру для параллельной обработки больших наборов данных в кластере Hadoop.

Apache Hadoop 3.3 — это первый выпуск Hadoop в этом году и первый выпуск, поддерживающий архитектуры ARM. Другие улучшения включают в себя разнообразие клиента S3A, который предлагает высокопроизводительный ввод-вывод для хранилища объектов Amazon S3 и совместимые реализации. Клиент был улучшен за счет добавления поддержки токена делегирования, улучшенной обработки кэширования 404 и улучшенной производительности S3guard. S3Guard — это функция для клиента S3A хранилища объектов S3, который может использовать согласованную базу данных в качестве хранилища метаданных об объектах в корзине S3.

В этом выпуске ABFS также была улучшена. Соединитель ABFS обеспечивает поддержку уровня хранилища Azure Data Lake Storage 2-го поколения, и в этом выпуске он был настроен для повышения производительности, а параметры устранения неполадок были улучшены.

Добавлен новый формат — файловая система Tencent Cloud COS. Tencent Cloud — один из двух ведущих поставщиков облачных услуг на китайском рынке, а объектный магазин COS широко используется пользователями облака в Китае. В этом выпуске добавлена файловая система COSN для поддержки облачного COS Tencent изначально в Hadoop.

Другие улучшения включают стабилизацию HDFS RBF, поэтому маршрутизатор теперь поддерживает безопасность; а Protobuf обновлен до версии 3.7.1.