Max Home IndustryМеханизм потоковой передачи Lenses SQL для Apache Kafka теперь может обрабатывать любой формат сериализации, включая Protobuf от Google.
Lenses — это платформа управления потоковыми данными, которая работает поверх Apache Kafka. Он поддерживает основные элементы Kafka с веб-интерфейсом пользователя, а также функциями для запроса данных в реальном времени, а также создания и мониторинга топологий Kafka. Его можно интегрировать с другими системами, включая Kubernetes, и есть бесплатная версия под названием Lenses Box, которая предоставляет всю экосистему Apache Kafka одной командой Docker. Он имеет возможность подключения JDBC и клиентов для Python, Golang и Redux.
Версия с uodated поддерживает потоковую передачу XML в дополнение к SQL. Декодер XML используется так же, как если бы данные были в формате SQL, за исключением того факта, что, поскольку XML не определяет типы полей, все поля являются String, и вы должны использовать функцию Cast для преобразования полей в правильный тип, если они действительно должны быть числовыми.
Поддержка Protobuf от Google — еще одно изменение в этом выпуске. Protobug — это сокращение от Protocol Buffers, и это не зависящий от языка и платформы расширяемый механизм Google для сериализации структурированных данных. Landoop теперь поддерживает Protobuf вместе с любыми другими настраиваемыми форматами, что означает, что компании могут использовать свои собственные сериализаторы. Поддержка любого формата сериализации охватывает как связанный, так и несвязанный потоковый SQL в Lenses, поэтому объединение и агрегирование данных Protobuf так же просто, как работа с JSON и Авро.
В Lenses также была добавлена поддержка массивов, и теперь вы можете обращаться к массивам и их элементам, используя стандартный синтаксис массивов devices [1] .temperatures [2]. Эта функция может использоваться с любым поддерживаемым типом полезной нагрузки (Avro, JSON, XML, Protobuf, custom) и поддерживается как в пакетном, так и в потоковом режимах.
Еще одно дополнение к новой версии — граф топологии. Это обеспечивает общее представление о том, как данные перемещаются в Kafka и из него, и призвано дать ответы на такие вопросы, как:
откуда берутся мои данные?
кто и как получает к нему доступ и манипулирует им?
куда он течет?
Разработчики говорят:
«До сих пор Lenses отвечала на вопрос о том, откуда происходят ваши данные, куда они перемещаются, а также кто обрабатывает и как покрывает как коннекторы, так и процессоры Kafka SQL. В этом новом выпуске Lenses полностью поддерживает все ваши микро- услуги и обработчики данных «.
Микрослужба может быть простым потребителем или производителем Kafka или даже иметь более высокий уровень сложности, используя Kafka Streams, Akka Streams или даже Apache Spark Streaming для обработки потоковой обработки в реальном времени.
Последние заметные изменения заключаются в том, что теперь Lenses SQL учитывает контекст, поэтому вам больше не нужно явно определять полезную нагрузку; и есть новая страница управления SQL, которая обеспечивает доступ к темам, схемам и полям для построения запросов; были переработаны CLI и библиотека Python.