Apache Storm В Azure

Apache Storm, распределенная аналитическая система реального времени для Hadoop, которая может использоваться для обработки больших объемов быстро меняющихся данных, была выпущена в Microsoft Azure HDInsight.

Общая доступность Storm является частью последнего обновления HDInsight, наряду с новостью о том, что HDInsight теперь доступен в Linux.

Этот релиз был описан Оливером Чиу в блоге Azure как вызванный:

«естественное решение предоставить клиентам возможность выбора запуска своих рабочих нагрузок Hadoop с большими данными как в Windows, так и в Linux».,

предположительно, частично это связано с тем, что 20 процентов виртуальных машин Azure работают на Linux.

Apache Storm был доступен в предварительном просмотре в октябре прошлого года в качестве кластеров в HDInsight, и теперь Microsoft объявляет о широкой доступности Storm в качестве варианта развертывания с целью упрощения использования Hadoop. Выпуск также включает поддержку Hadoop 2.6, новые размеры виртуальных машин, масштабирование кластера и встроенную интеграцию с базой данных документов Azure.

В этом видео канала 9 из серии «Данные, выставленные» Асад Хан рассказывает о службе Azure Storm и ее последних функциях:

Самым интересным аспектом для разработчиков является тот факт, что Storm теперь доступен для обоих .NET и Java, а также интеграция с Visual Studio позволяет работать в приложениях VS on Storm.

Это включает в себя возможность использования ливневых стоков и болтов, написанных на других языках. Подробные сведения о том, как это сделать, включены в статью Разработка топологий C# для Apache Storm в HDInsight с использованием Visual Studio, которая является частью документации Microsoft Azure. 

Microsoft использует доступность Hortonworks HDP 2.2 для выпуска следующей версии HDInsight, построенной на Hadoop 2.6, Улей и Свинья. Эта версия HDInsight включает в себя работу, выполненную на Stinger.next для ускорения запросов Hadoop. Новая версия также включает масштабирование кластера в Azure HDInsight, поэтому вы можете изменить количество узлов запущенного кластера HDInsight без необходимости удалять и воссоздавать новый кластер.