Max Home IndustryHortonworks вместе с IBM и Red Hat объявила об инициативе, направленной на то, чтобы сделать Hadoop родным для облака и способным хорошо работать в гибридных средах.
Хотя текущие версии Hadoop можно использовать в облачных средах, сам Hadoop в значительной степени игнорирует тот факт, что он используется в облаке. Несмотря на это, он все чаще развертывается в облаке, отсюда и новое объявление. Hortonworks также выпустила план действий, когда Hadoop будет готов к работе в гибридных средах.
Hortonworks заявляет, что работает над достижением цели гибридного бега, который, по их мнению, требует:
Облачный Hadoop для общедоступного облака — поставляется с Hortonworks Data Platform (HDP) и Hortonworks DataFlow (HDF) на IaaS.
Поток данных и управление на периферию и обратно — с HDF и, в частности, с MiNiFi.
Последовательная безопасность и управление данными на всех уровнях — с помощью DPS.
Единая архитектура в облаке и в локальной среде. Это последняя миля.
DPS (Data Plane Services) — это каталог служб, которые работают как надстройки для таких задач, как управление жизненным циклом, управление репликацией, контроль доступа и управление потоками данных.
Инициатива IBM и Red Hat направлена на создание согласованной архитектуры независимо от того, где работает Hadoop. Для этого требуется, чтобы хранилище было отделено от вычислительной среды и использовало контейнерные вычислительные ресурсы для обеспечения изоляции программного обеспечения. Сервисы должны быть общими для всех уровней, чтобы помочь в управлении и безопасности, а также инструменты, предоставляемые для управления сервисами и рабочими нагрузками, чтобы разрешить программное ускорение / замедление. Последний элемент этого — возможность назначать рабочие нагрузки, специфичные для конкретных целей, таких как EDW или наука о данных, а не совместно использовать все в многопользовательском кластере Hadoop.
На начальном этапе инициативы Hortonworks, Red Hat и IBM будут работать вместе над оптимизацией Hortonworks Data Platform, Hortonworks DataFlow, Hortonworks DataPlane и IBM Cloud Private for Data для использования в Red Hat OpenShift, корпоративном контейнере и платформе приложений Kubernetes. Это должно позволить разрабатывать и развертывать контейнерные рабочие нагрузки с большими данными. IBM и Hortonworks продолжат работу по интеграции услуг, предлагаемых через Hortonworks DataPlane, с IBM Cloud Private for Data.