Брокер обновлений Apache Kafka 2.7

Apache Kafka, платформа больших данных и потоков данных, была обновлена в новой версии, которая, по словам разработчиков, приближается к замене ZooKeeper в Kafka на самоуправляемый кворум метаданных.

Apache Kafka — это распределенная потоковая платформа, которую можно использовать для создания конвейеров потоковой передачи данных в реальном времени между системами или приложениями.

Первоначально он был разработан в LinkedIn, откуда был взят как проект Apache. Это быстрая, масштабируемая, надежная и отказоустойчивая система обмена сообщениями публикация-подписка, которую можно использовать вместо традиционных брокеров сообщений.

В настоящее время Kafka использует ZooKeeper для хранения своих метаданных о разделах и брокерах, а также для выбора брокера в качестве контроллера Kafka. Разработчики работают над устранением этой зависимости, чтобы они могли управлять метаданными более масштабируемым и надежным способом, обеспечивая поддержку большего количества разделов. Это также упростит развертывание и настройку Kafka.

Последняя работа по этой большой задаче включает новый API AlterIsr для замены znode уведомления, чтобы у контроллера была исключительная возможность обновлять Leader и состояние ISR. Руководители будут использовать этот API для запроса изменения ISR от контроллера, а не напрямую изменять базовое состояние.

Работа по замене ZooKeeper еще далека от завершения. В настоящее время ведется активная разработка семи задач, направленных на обеспечение поддержки большего количества разделов на кластер, упрощения работы и повышения безопасности.

В новом выпуске Kafka 2.7 также добавлена реализация Core Raft. Это часть большого набора работ по улучшению архитектуры Kafka, основанной на реплицированном журнале метаданных, который поддерживается самоуправляемым кворумом. Kafka в значительной степени полагается на репликацию журналов, и разработчики хотят использовать идеи, лежащие в основе Kafka, а также в основе протоколов консенсуса, таких как Raft. Последняя работа добавляет отдельный модуль «плот», содержащий основной протокол консенсуса.

Другие улучшения: добавление метрик в Kafka Streams для отчета о свойствах RocksDB и поддержка агрегирования скользящих окон в DSL.