Функциональное программирование для аналитики больших данных

На следующей неделе начнется новый онлайн-курс, который знакомит с принципами функционального программирования, особыми проблемами распределенных систем и тем, как системы обработки больших данных используют функциональное программирование для преодоления этих препятствий. Следующая презентация этого курса начнется 28 апреля 2021 года, а набор начнется с 21 апреля.

В наши дни в большинстве крупных приложений используется множество методов функционального программирования. Если вы раньше избегали функционального программирования, но теперь нуждаетесь в нем для работы с большими данными, вот-вот состоится первая презентация «Введение в функциональное программирование для обработки больших данных».

Парадигмы функционального программирования при обработке больших данных не только делают код пользователя более элегантным, но и хорошее понимание основ и влияния на то, как платформа выполняет обработку, является ключом к достижению хорошей производительности и масштабируемости. Узнайте, как языковой дизайн и системная архитектура решают общие проблемы в распределенных системах. Наконец, потренируйтесь с помощью современных инструментов, таких как Apache Spark.

В этом видео Ян Реллермейер, доцент группы распределенных систем в Делфтском технологическом университете (TU Delft), объясняет возрождение функционального программирования и знакомит с лямбда-исчислением:

Этот пятинедельный курс из пяти модулей разработан для практического использования и включает практический проект с Apache Spark. Это покрывает

Лямбда-исчисление

от лямбда-исчисления до функционального программирования

основы распределенных систем

системы обработки больших данных

функциональное программирование на Scala

программирование для аналитики больших данных

К концу этого курса вы будете знать:

основы функционального программирования

как построить распределенные системы для использования больших кластеров машин

как платформы обработки больших данных выигрывают от стиля функционального программирования для эффективного распределения обработки данных между множеством машин.

Связанный курс «Укрощение потоков больших данных: масштабная обработка данных в реальном времени» (4 недели, в общей сложности около 20 часов) предназначен для самостоятельного обучения, и запись на него также открыта до 21 апреля 2021 года. На нем студенты будут развивать навыки разрабатывать конвейеры потоковой обработки в реальном времени, масштабируемым и эффективным способом, используя Apache Flink — современную технологию с открытым исходным кодом для потоковой обработки. к его концу они смогут настраивать корпоративные конвейеры для обработки журналов приложений, контролировать центры обработки данных, развертывать модели машинного обучения для обнаружения шаблонов в реальном времени и прогнозной аналитики.

Хотя TU Delft использовал платформу edX для проведения курсов и до сих пор использует свои бесплатные курсы для самостоятельного изучения, эти два курса находятся на его собственной онлайн-платформе. В рекламных материалах указывается, что TU Delft занимает седьмое место в Европе в мировом рейтинге QS в области инженерии и технологий за 2019 год, и упоминаются следующие преимущества:

Курсовая работа и взаимодействие на 100% онлайн

Учись в удобное для тебя время и место

Круглосуточный доступ к материалам курса

Стоимость каждого из двух курсов составляет 695 евро (819 долларов США, 631 фунт стерлингов).