Amazon представляет Kinesis Analytics

Amazon запустила службу запросов к потоковым данным с использованием стандартного SQL, чтобы помочь разработчикам создавать приложения, которые анализируют данные в реальном времени без необходимости использования специальных языков и методов, таких как Apache Storm.

Amazon Kinesis Analytics позволяет использовать обычный SQL для создания запросов к данным, которые постоянно обновляются и поступают в больших объемах. Сервис связан с другими сервисами Kinesis Amazon: Kinesis Streams и Kinesis Firehose, которые предоставляют способы отправки данных в облако Amazon. Выходные данные из потока Kinesis Analytics можно направлять в другие сервисы Amazon, такие как Amazon S3, Redshift и Elasticsearch Service, или отправлять на вашу собственную конечную точку.

Идея состоит в том, что вы можете использовать его для источников данных, которые быстро меняются в режиме реального времени, таких как данные фондового рынка или анализ веб-сайтов. Преимущество, которое он предлагает, состоит в том, что гораздо больше разработчиков компетентны в SQL, чем когда-либо выучат больше специализированных языков.

Технология, лежащая в основе Kinesis Analytics, исходит от SQLstream Blaze. Это пакет потоковой обработки, который предлагает информацию в реальном времени в результате интеграции, анализа и визуализации больших объемов данных с высокой скоростью. Amazon лицензировал подмножество основных технологий SQLstream Blaze.

В Kinesis Analytics запросы выполняются в окне обработки, которое принимает подмножество поступающих данных. Вы можете выбрать один из трех типов окна — для определенного периода времени; скользящие окна, которые предоставляют самый последний набор данных определенного размера; и настраиваемые окна, когда вы не можете сгруппироваться вовремя.

Amazon Kinesis Analytics может работать с данными в форматах, включая JSON, CSV и TSV, и предложит схему, когда распознает формат данных. Затем вы используете редактор SQL Kinesis Analytics и готовые шаблоны для написания SQL-запросов, сообщаете службе, куда нужно отправлять обработанные результаты, и с этого момента Kinesis Analytics непрерывно выполняет ваши запросы, автоматически масштабируя их в соответствии с объемом и пропускной способностью скорость входящих данных.

Amazon Kinesis Analytics в настоящее время доступен в подмножестве регионов AWS, а именно в Северной Вирджинии, Орегоне и Ирландии.