Max Home IndustryВ новом выпуске Apache Drill добавлена возможность запускать Drill как приложение YARN, а также поддержка аутентификации HTTP Kerberos с использованием SPNEGO и подсветка синтаксиса SQL запросов.
Apache Drill — это распределенный механизм запросов SQL, который работает с большинством нереляционных хранилищ данных, включая HBase, MongoDB, MapR-DB, HDFS, MapR-FS, Amazon S3, хранилище BLOB-объектов Azure, облачное хранилище Google, Swift, NAS и локальные файлы. Один запрос может объединять данные из нескольких хранилищ данных. Drill может использоваться аналитиками, специалистами по обработке данных и разработчиками для исследования и анализа нереляционных данных без необходимости делать данные более систематизированными для анализа. Drill обрабатывает данные на месте, не требуя от пользователей определения схем или преобразования данных.
Drill — единственный механизм выполнения по столбцам, который поддерживает сложные данные без схемы, и единственный механизм выполнения, который выполняет управляемую данными компиляцию запроса и обнаружение схемы во время выполнения запроса. Drill был разработан для обеспечения хорошей производительности запросов с гибкостью, предлагаемой моделью документа JSON.
Основное изменение в новой версии — возможность запускать Drill как приложение YARN, если вы хотите, чтобы Drill работал вместе с другими приложениями, такими как Hadoop и Spark, в управляемом YARN кластере. При таком использовании YARN выполняет работу по назначению ресурсов приложениям в кластере, поэтому вам не нужно иметь дело с собственным распределением ресурсов. YARN автоматически развертывает программное обеспечение Drill на каждом узле Drill и управляет кластером Drill. При таком использовании Drill может стать долго работающим приложением, и вы можете отслеживать кластер Drill-on-YARN с помощью веб-интерфейса Application Master.
Следующее улучшение — добавление поддержки SPNEGO. SPENGO — это простой и защищенный механизм переговоров GSSAPI, альтернативный Kerebos. Вы можете использовать SPNEGO для расширения аутентификации Kerberos для веб-приложений через HTTP.
Также была улучшена поддержка синтаксиса SQL. Синтаксис запроса теперь выделен в Drill Web Console, а автозаполнение поддерживается во всех редакторах SQL, включая вкладку «Изменить запрос» в существующем профиле для повторного выполнения запроса. Если вы работаете в соответствующем браузере, таком как Chrome, вы можете ввести Ctrl + Пробел для раскрывающегося списка, а затем использовать клавиши со стрелками для навигации по параметрам. Также есть функция автозаполнения, которая определяет ключевые слова и функции Drill, и возможность писать SQL из шаблонов с помощью фрагментов.