Kafka 2.5 добавляет новые метрики и повышает безопасность

Apache Kafka, платформа больших данных и потоков данных, была обновлена до новой версии, которая добавляет новые метрики и повышает безопасность.

Apache Kafka — это распределенная потоковая платформа, которую можно использовать для создания конвейеров потоковой передачи данных в реальном времени между системами или приложениями. Первоначально он был разработан в LinkedIn, откуда был взят как проект Apache. Это быстрая, масштабируемая, надежная и отказоустойчивая система обмена сообщениями публикация-подписка, которую можно использовать вместо традиционных брокеров сообщений.

В этом выпуске продолжалась работа по удалению прямого доступа к Apache ZooKeeper из инструментов администрирования Kafka. Это повысит безопасность, отделит формат метаданных на стороне сервера от клиента и является необходимым первым шагом на пути к хранению метаданных Kafka в Kafka.

Проделанная работа означает, что динамические конфиги больше не будут требовать доступа к ZooKeeper. Новый выпуск также поставляется с более современной версией ZooKeeper, которая добавляет поддержку ZooKeeper TLS. Это используется при развертывании безопасного кластера Kafka, удалив прямой доступ ZooKeeper из административных инструментов Kafka.

Еще одно заслуживающее внимания изменение упрощает API для приложений, выполняющих транзакционное чтение и запись в Kafka. До сих пор вам приходилось использовать отдельные экземпляры производителей для каждого входного раздела, но теперь это не так, поэтому проще создавать приложения EOS, которые используют большое количество разделов. Разработчики говорят, что это основа для аналогичного улучшения в Kafka Streams в следующем выпуске.

Повышена надежность идемпотентного / транзакционного производителя, устранена проблема с сохранением состояния производителя на брокере. Раньше, когда журнал усекался для обеспечения сохранения или усекался из вызова для удаления записей, брокер сбрасывал состояние производителя, что приводило к ошибкам. Благодаря этому усовершенствованию брокер вместо этого сохраняет состояние производителя до истечения срока действия.