Новый Udacity Nanodegree в потоковой передаче данных

Udacity добавила новую программу Data Streaming в свою школу Data Science. На продвинутом уровне эта наностепень предназначена для того, чтобы научить вас обрабатывать данные в режиме реального времени за счет повышения свободного владения современными инструментами инженерии данных, такими как Apache Spark, Kafka, Spark Streaming и Kafka Streaming.

Udacity запустила свою первую Data Science Nanodegree и представила еще четыре наностепени по смежным темам, когда два месяца спустя сформировала свою Школу Data Science. В настоящее время предлагается в общей сложности одиннадцать наноразмеров, от бизнес-аналитика и маркетолога без предварительных требований до инженера и специалиста по данным, для которых требуется программирование на Python среднего уровня и SQL среднего уровня. Восемь из них будут перезапущены 25 марта и теперь к ним присоединилась потоковая передача данных, в которой, согласно Udacity, вы можете:

Изучите навыки, чтобы перейти в новую эру инженерии данных. Создавайте приложения в реальном времени для масштабной обработки больших данных.

Расчетное время для завершения этой новой новой программы составляет два месяца по 5-10 часов в неделю, если у вас уже есть необходимые предпосылки. Это промежуточные навыки Python и SQL, которые можно получить с помощью программы Programming for Data Science Nanodegree, а также опыт работы с ETL — извлечение, преобразование, загрузка, чтобы извлекать данные из одной базы данных и помещать их в другую базу данных.

Как и во всех Udacity Nanodegrees, подход основан на принципах «учиться на практике» и состоит из двух курсов и двух проектов:

Курс 1: Основы потоковой передачи данных, SQL и моделирование данных для Интернета

Изучите основы потоковой обработки, включая работу с экосистемой Apache Kafka, схемами данных, ApacheAvro, Kafka Connect и прокси REST, KSQL и Faust Stream Processing.

Проект 1: Оптимизация общественного транспорта Чикаго

Курс 2: Разработка и документация потокового API

Накопите опыт в компонентах систем потоковой передачи данных и узнайте, как создать приложение для аналитики в реальном времени. Изучите размеры потоковой передачи Spark, загрузите потоковые данные в Apache Spark Structured Streaming и интегрируйте потоки Spark в Kafka.

Проект 2: Анализ уровня преступности в Сан-Франциско с помощью Apache Spark Streaming