Max Home IndustryИнструменты озера данных Azure для Visual Studio теперь общедоступны. Этот инструментарий предоставляет редактор кода для разработки запросов к большим данным, включая сценарии U-SQL, из Visual Studio.
Azure Data Lake — это гипермасштабируемое хранилище данных для рабочих нагрузок аналитики больших данных. Он сочетает в себе возможности анализа с хранилищем больших данных эксабайтного масштаба как полностью управляемую услугу. Azure Data Lake является частью Cortana Analytics Suite и состоит из Data Lake Store, единого репозитория данных, который можно использовать для данных любого размера, причем данные доступны для обработки и анализа из приложений и инструментов HDFS.
Редактор в наборе инструментов в основном используется для написания запросов U-SQL. U-SQL основан на T-SQL, тогда как по умолчанию он использует типы C #. Он начал свою жизнь на внутреннем языке больших данных Microsoft под названием SCOPE, и наряду с декларативным языком, подобным SQL, с использованием типов C # и языка выражений C #, он включает концепции обработки больших данных, такие как «схема при чтении», пользовательские процессоры и редукторы. Вы можете использовать U-SQL для запроса и объединения данных из источников, включая хранилище озера данных Azure, хранилище BLOB-объектов Azure и базу данных SQL Azure, хранилище данных SQL Azure и экземпляры SQL Server, работающие на виртуальных машинах Azure. На видео ниже показан используемый редактор:
Поддержка U-SQL в редакторе включает такие функции, как IntelliSense, выделение синтаксиса, маркер ошибки, переход к определению и автоформат. Помимо написания сценариев U-SQL, вы можете добавлять ссылки на сборки и выполнять расширяемость U-SQL с помощью кода. Функция скрытого кода позволяет создать файл C # для разработки пользовательского кода. Инструмент автоматически генерирует код позади и выполняет код позади регистрации и отмены регистрации динамически во время процесса компиляции.
Еще одна особенность набора инструментов — возможность интеграции с ADLA (Azure Data Lake Analytics). ADLA — это служба, основанная на Apache YARN, которая динамически масштабируется. Преимущество U-SQL в ADLA заключается в том, что его можно использовать как задание как услугу, поэтому клиентам не нужно управлять развертыванием кластеров, просто отправляйте свои задания в ADLA. Поддержка в наборе инструментов означает, что при входе в Azure вы можете видеть свои объекты метаданных ADLA через список настраиваемых элементов команд VSCode и можете перемещаться по метаданным ADLA на основе их иерархии.
Последний вариант в наборе инструментов — интеграция ADLS. Azure Data Lake Store — это репозиторий для рабочих нагрузок аналитики больших данных, а интеграция с набором инструментов означает, что вы можете перемещаться по ресурсам ADLS, просматривать их и загружать файл в ADLS.