.NET для Apache Spark обновлен

Привязки .NET для Spark обновлены. В новой версии 1.0 добавлена поддержка приложений .NET, ориентированных на .NET Standard 2.0 или более поздних версий, а также поддержка API-интерфейсов Apache Spark DataFrame.

Spark — это универсальная платформа кластерных вычислений, которая имеет встроенную поддержку распределенного SQL и обеспечивает потоковую передачу, обработку графиков и машинное обучение. Привязки .NET для Spark написаны на уровне взаимодействия Spark и обеспечивают высокопроизводительные привязки к нескольким языкам. До их появления Spark был доступен для программирования с использованием Scala, Java, Python или R, но не .NET.

Улучшения версии 1.0 .NET для Apache Spark начинаются с поддержки приложений .NET, ориентированных на .NET Standard 2.0. На практике теперь он также позволяет использовать API-интерфейсы Spark DataFrame, включая возможность написания Spark SQL. Вы также можете писать приложения Spark, используя определяемые пользователем функции .NET.

Библиотека теперь поставляется с платформой расширения API, чтобы добавить поддержку дополнительных библиотек Spark. В настоящее время это включает в себя основу Linux Delta Lake, Microsoft OSS Hyperspace, ML.NET и поддержку функциональности MLLib Apache Spark.
Разработчики улучшили производительность при использовании Apache Arrow для перемещения данных между средой выполнения Spark и .NET UDF, а также улучшили функции, доступные для этого. В целом, команда утверждает, что приложения, использующие .NET для Apache Spark и не использующие UDF, показывают ту же скорость, что и приложения Spark на основе Scala и PySpark, не относящиеся к UDF. Если приложения включают UDF, файлы .app работают по крайней мере так же быстро, как программы PySpark, а зачастую и быстрее.
Планы на будущее включают поддержку вариантов развертывания, включая интеграцию с конвейерами CI / CD DevOps и публикацию или отправку заданий непосредственно из Visual Studio.

Больше информации
.NET для Apache Spark на GitHub
.NET для Apache Spark в Microsoft
Статьи по Теме
Выскажите свое мнение о .NET для Spark
IDE Visual Spark Studio для приложений Spark
.NET — это одно целое с .NET 5
Spark BI получает точную безопасность
Объявления Spark
Microsoft просит помощи о будущем .NET — с чего начать?
Microsoft Open Sources .NET?

Чтобы быть в курсе новых статей на I Programmer, подпишитесь на нашу еженедельную новостную рассылку, подпишитесь на RSS-канал и подпишитесь на нас в Twitter, Facebook или Linkedin.

Комментарии
Оставьте комментарий или просмотрите существующие комментарии с помощью Disqus
или отправьте свой комментарий по адресу: comments@i-programmer.info