Анонсированы новые службы Azure

Microsoft анонсировала предварительную версию Azure Stream Analytics, механизма обработки потоков данных и событий, который обеспечивает аналитику в режиме реального времени больших объемов данных, полученных из таких источников, как устройства, датчики, облачная инфраструктура и существующие свойства данных в режиме реального времени.

Он интегрирован с концентраторами событий Azure, и вместе эти две службы могут использоваться для наборов данных, представляющих миллионы событий, а также для создания аналитики для поиска шаблонов или запуска действия во время потоковой передачи данных в реальном времени. Третья служба, о которой будет объявлено,-это фабрика данных Azure, которая может использоваться для организации и управления разнообразными данными, позволяя вам работать с конвейерами данных в экосистеме Hadoop с использованием структурированных, полуструктурированных и неструктурированных источников данных.

Идея Stream Analytics заключается в том, что она предоставляет способ работы с конечными точками, которые передают высокоскоростные данные в облаке, такие как торговля акциями, датчики, веб-аналитика clickstream и оповещения из приложений CRM. 

С помощью сервиса вы можете объединять потоки данных, такие как потоки кликов, журналы, данные измерений или события, сгенерированные устройством, с историческими записями или справочными данными. Stream Analytics-это альтернатива Apache Storm, которая, как недавно объявила Microsoft, стала доступна в Azure HDInsight. 

Концентраторы событий Azure предназначены для работы вместе с потоковой аналитикой. Концентраторы событий-это приемник публикации и подписки, который может принимать миллионы событий в секунду. Собранные данные могут быть преобразованы и сохранены с помощью соответствующих служб аналитики, а также адаптеров пакетной обработки и хранения.

Фабрика данных Azure — это еще одна новая служба, которая может использоваться для обработки локальных данных, таких как SQL Server, а также облачных данных, таких как база данных SQL Azure, большие двоичные объекты и таблицы. Эти источники данных могут быть составлены, обработаны и отслежены с помощью конвейеров данных, которые будут обрабатывать данные с помощью сценариев Apache Hive и Pig или пользовательской обработки C#. Служба фабрики данных может использоваться для мониторинга и управления данными, а также для просмотра производства данных и передачи данных в исходные системы.

В этом видео Клеменс Вастерс из команды Azure объясняет, что такое концентраторы событий Azure: 

Еще одна служба, о которой будет объявлено,-это Azure Batch, новая служба платформы, которую можно использовать для запуска крупномасштабных параллельных и HPC-приложений в облаке без необходимости настройки и управления кластером или планировщиком заданий. Существует пакет SDK, который можно использовать для интеграции клиентских приложений с пакетной службой Azure, передачи данных в Azure и построения конвейеров выполнения заданий, чтобы можно было доставлять приложения самообслуживания как службу.

Azure Stream Analytics, Azure Batch и фабрика данных Azure доступны в режиме предварительного просмотра, а концентраторы событий Azure теперь доступны в целом.