Google Запускает Облачный Dataproc

Google запустила бета-версию Google Cloud Dataproc, сервиса, который предоставит альтернативный способ более быстрого и простого управления Hadoop и Spark.

Google продолжает расширять спектр облачных сервисов для работы с большими данными, см. Google Анонсирует Большие данные облачным способом. Теперь доступный в бета-версии, Cloud Dataproc-это управляемый сервис Spark и Hadoop, который позволяет использовать инструменты данных с открытым исходным кодом для пакетной обработки, запросов, потоковой передачи и машинного обучения. Цель состоит в том, чтобы вы могли быстро создавать кластеры, легко управлять ими и экономить деньги, отключая кластеры, когда они вам не нужны.

Услуга может использоваться от трех кластеров до сотен кластеров и оценивается в 1 цент за виртуальный процессор в вашем кластере в час в дополнение к обычным затратам на запуск виртуальных машин и хранение данных. Кластеры могут включать в себя вытесняемые экземпляры, которые имеют более низкие цены на вычислительные ресурсы, и плата взимается с использованием поминутного выставления счетов с минимальным десятиминутным периодом выставления счетов. Утверждается, что вы сможете запускать, масштабировать и завершать работу за 90 секунд или меньше. 

Сервис поставляется со встроенной интеграцией с другими сервисами облачной платформы Google, такими как BigQuery, Облачное хранилище, Облачная Bigtable, ведение журнала в облаке и мониторинг облаков. Вы можете взаимодействовать с кластерами и заданиями Spark или Hadoop через консоль разработчиков Google, Google Cloud SDK или API REST Cloud Dataproc. Когда вы закончите с кластером, его можно отключить, чтобы сэкономить деньги, и данные будут в безопасности, потому что Cloud Dataproc интегрирован с облачным хранилищем, BigQuery и Cloud Bigtable. Доступна бесплатная 60-дневная пробная версия облачной платформы Google.

Тот факт, что сервис основан на Spark и Hadoop и других элементах экосистемы, таких как Pig и Hive, разработчики смогут начать работу без необходимости изучать новые инструменты или API, а существующие проекты или конвейеры ETL могут быть перенесены в новый сервис без перепланировки.