Hadoop переходит на 1.0

Apache Software Foundation официально объявила о выпуске Hadoop 1.0. В выпуске добавлены некоторые функции в области безопасности и поддержки базы данных Hadoop HBase, но наиболее важным аспектом выпуска является то, что Hadoop теперь достаточно зрел, чтобы гарантировать маркер 1.0.

Hadoop, возможно, был в заголовках в течение нескольких месяцев, если не лет, в области больших данных, но он только сейчас достиг статуса версии 1.0.

Apache Software Foundation официально объявила о выпуске Hadoop 1.0. В выпуске добавлены некоторые функции в области безопасности и поддержки базы данных Hadoop HBase, но наиболее важным аспектом выпуска является то, что Apache Software Foundation считает, что Hadoop теперь достаточно зрел, чтобы гарантировать маркер 1.0.

Несмотря на более ранний статус 0.x, Hadoop, который начал свою жизнь в Yahoo! и разрабатывался последние шесть лет, уже используется на популярных сайтах, включая Yahoo, Facebook и LinkedIn.

Улучшение безопасности достигается за счет поддержки строгой аутентификации Kerberos, чтобы вы могли зашифровать и защитить свои данные. Еще одна важная функция версии 1.0 — это Webhdfs, веб-интерфейс HTTP для распределенной файловой системы Hadoop (HDFS). Это позволит вам использовать HTTP вместо того, чтобы использовать клиент Java или C, когда вы хотите взаимодействовать с HDFS.

Включение поддержки HBase интересно, потому что показывает, как Hadoop все больше приближается к типу приложений, которым требуются веб-приложения в реальном времени. Hadoop был разработан для репликации Google MapReduce, программного обеспечения, которое использовалось для создания веб-индекса Google, и поэтому он отлично подходит для анализа данных, когда конечные результаты анализа используются другими приложениями — для создания веб-индекса, который затем может быть используется, скажем, поисковой системой. Он не был разработан для мгновенного ответа на запросы. HBase, напротив, представляет собой распределенную базу данных, которая работает с HDFS и больше подходит для приложений реального времени.

Apache Software Foundation предлагает вам использовать HBase, когда вам нужен случайный доступ для чтения / записи в реальном времени к вашим большим данным, заявив, что цель HBase — разместить очень большие таблицы — миллиарды строк X миллионы столбцов — на кластерах стандартного оборудования. . Магазин, ориентированный на столбцы, смоделирован по образцу Bigtable от Google.

Несмотря на усиление поддержки HBase в Hadoop 1.0, компании, стоящие за Hadoop, хеджируют свои ставки на то, победит он или нет. Например, в то время как Yahoo! использует HBase для некоторых из своих сервисов, он также работает над другими альтернативами, включая MapReduce Online и S4, обе из которых предоставляют онлайн-окно для наборов данных, которые были сначала сопоставлены, а затем сокращены, поэтому набор данных достаточно мал, чтобы быть работоспособным.