Проект Дейтона

Microsoft разработала итеративную среду выполнения MapReduce для Windows Azure с кодовым именем Daytona, и она может стать открытым исходным кодом.

Системы MapReduce предназначены для преодоления трудностей, связанных с предоставлением данных веб-или облачным приложениям. MapReduce-это модель программирования, изначально созданная Google для облегчения разработки крупномасштабных приложений для веб-поиска в центрах обработки данных.

Daytona использует службы вычислений и хранения в Azure и передает данные, к которым обращаются приложения. Он обеспечивает динамическое разделение данных на основе облачных служб хранения Azure. Согласно сайту загрузки, Daytona предназначена для поддержки широкого класса алгоритмов анализа данных и машинного обучения. Он может масштабироваться до сотен серверных ядер для анализа распределенных данных. Проект Daytona был разработан в рамках инициативы eXtreme Computing Group по вовлечению в облачные исследования.

Способ работы MapReduce заключается в том, что элемент map принимает запрос на некоторую вычислительную задачу и разбивает задачу на более мелкие элементы, которые можно рассматривать как подзадачи. Затем они распределяются по рабочим узлам, которые выполняют обработку и передают ответ на свою часть проблемы обратно на главный узел. Шаг сокращения включает в себя главный узел, объединяющий ответы всех рабочих узлов, чтобы создать ответ на исходную проблему.

(Нажмите, чтобы увеличить)

Вы можете использовать Daytona в своих приложениях, отправив модели, написанные как функции map-and-reduce, в службу Daytona. Затем Daytona занимается выполнением вашего алгоритма на нескольких виртуальных машинах Azure. Вы должны написать функцию map и функцию reduce, а также контроллер — по сути, встроенный код управления приложением, который имеет дело с такими задачами, как настройка заданий, отправка и управление. 

Наиболее известной и используемой реализацией MapReduce является Hadoop с открытым исходным кодом. Microsoft высказала предположение, что Daytona также может перейти на открытый исходный код «в ожидании отзывов сообщества».