Amazon Kinesis Для обработки данных в режиме реального времени

Amazon анонсировала Kinesis, полностью управляемый сервис для обработки больших объемов потоковых данных в режиме реального времени.

Новая служба означает, что должно быть проще писать приложения, которые взаимодействуют с потоками данных в режиме реального времени, такими как потоки кликов с веб-сайтов, каналы социальных сетей или журналы финансовых транзакций.

Согласно его веб-странице, Amazon Kinesis позволяет хранить и обрабатывать терабайты данных в час из сотен тысяч источников. Приложения, использующие Kinesis, смогут отображать данные на панелях мониторинга в реальном времени или отправлять данные в другие службы больших данных, такие как Amazon Simple Storage Service (Amazon S3), Amazon Elastic Map Reduce (Amazon EMR) или Amazon Redshift. Сервис занимается масштабированием для управления и обработки потоков данных практически любого размера. Он также реплицирует данные в нескольких зонах доступности Amazon, чтобы обеспечить высокую надежность и доступность.

Преимущество новой службы перед такими системами, как Hadoop, заключается в поддержке потоковой передачи данных в реальном времени. Если вам нужно управлять такими данными, существуют варианты с открытым исходным кодом, такие как Storm и Kafka, а также коммерческие системы, включая Google BigQuery. Kinesis идет дальше в потоковой передаче, чем BigQuery, и заботится об инфраструктуре и подготовке, которыми вы должны управлять самостоятельно с помощью альтернатив с открытым исходным кодом. Вместо этого вы получаете сервис, в котором вам нужно только указать данные, с которыми вы хотите работать, сколько данных вы ожидаете и куда эти данные должны быть отправлены. Kinesis поставляется с клиентской библиотекой, которая заботится о таких аспектах, как балансировка нагрузки, координация и отказоустойчивость, и вы можете использовать автоматическое масштабирование AWS для создания эластичных высокопроизводительных кластеров обработки Amazon Elastic Compute Cloud (Amazon EC2).

Вы можете работать с Kinesis либо из консоли управления AWS, либо с помощью вызова API. В любом случае создается поток данных, который захватывает и сохраняет данные по мере их отправки. Затем данные становятся доступными для приложений, инструментов потоковой передачи с открытым исходным кодом и хранилищ данных, таких как Amazon S3 или DynamoDB.

Как и в случае с двумя другими облачными сервисами, которые Amazon анонсировала на прошлой неделе на конференции AWS re:Invent, Kinesis в настоящее время доступен только в виде ограниченного предварительного просмотра, и разработчикам с учетными записями AWS предлагается зарегистрироваться, чтобы присоединиться к списку ожидания.