Snowflake расширяет встроенную поддержку Python и доступ к данным

Компания Snowflake, специализирующаяся на облачных технологиях обработки данных, представила новые усовершенствования, которые расширяют возможности по программированию для специалистов по анализу данных, инженеров по обработке данных и разработчиков приложений.

Компания объявила об обновлениях на этой неделе на своей ежегодной конференции пользователей Snowflake Summit 2022 в Лас-Вегасе.

Последние инновации Snowflake выводят Python на передний план: Snowpark для Python, который сейчас находится в стадии публичного предварительного просмотра, и встроенная интеграция со Streamlit для быстрой разработки и итерации приложений, которая находится в стадии разработки. Кроме того, Snowflake упрощает доступ к большим объемам данных с помощью новых усовершенствований для работы с потоковыми данными, а также делает данные, хранящиеся в открытых форматах и на локальных площадках, доступными в Data Cloud.

Эти усовершенствования облегчают специалистам по работе с данными и разработчикам возможность быстрого создания данных и совместной работы с ними, используя при этом скорость, простоту, последовательное управление и безопасность платформы Snowflake.

Внедрение Snowpark, платформы Snowflake для разработчиков, открыло богатую среду программирования для специалистов по анализу данных, инженеров по данным и разработчиков приложений, позволяющую создавать масштабируемые конвейеры, приложения и рабочие процессы машинного обучения (ML) непосредственно в Snowflake с использованием предпочитаемых языков и библиотек. Snowflake еще больше расширяет возможности пользователей по созданию приложений с помощью Snowpark for Python, делая богатую экосистему пакетов и библиотек Python с открытым исходным кодом легко доступной в облаке данных.

Благодаря высокозащищенной песочнице Python, Snowpark for Python работает на той же вычислительной инфраструктуре Snowflake, что и конвейеры Snowflake и приложения, написанные на других языках. Это обеспечивает Snowpark for Python те же преимущества масштабируемости, эластичности, безопасности и соответствия нормативным требованиям, которые разработчики привыкли ожидать при создании приложений на базе Snowflake. Теперь у разработчиков есть уникальная возможность оптимизировать и модернизировать архитектуру обработки данных, консолидировав обработку данных на базе Python в Snowflake с помощью Snowpark.

Дополнительные обновления, дополняющие Snowflake для Python, включают:

• Snowflake Worksheets for Python, находящийся в стадии частного предварительного просмотра, позволяет пользователям разрабатывать конвейеры, ML-модели и приложения непосредственно в Snowsight, пользовательском интерфейсе Snowflake, используя Python и API Snowpark DataFrame для Python, оптимизируя разработку с помощью автозаполнения кода и возможности создания пользовательской логики за считанные секунды.
• Интеграция Snowflake со Streamlit, находящаяся в стадии разработки, привносит разработку приложений на базе Python непосредственно в Snowflake, позволяя пользователям создавать интерактивные приложения, а также безопасно обмениваться данными, проводить итерации и сотрудничать с бизнес-командами для повышения отдачи от разработки.
• Хранилища большой памяти, находящиеся в стадии разработки, позволяют пользователям безопасно выполнять операции, требующие большого объема памяти, такие как разработка функций и обучение моделей на больших наборах данных, используя популярные библиотеки Python с открытым исходным кодом, доступные через интеграцию Anaconda.
• Машинное обучение SQL, начиная с прогнозирования временных рядов, которое сейчас находится в стадии закрытого предварительного просмотра, позволяет пользователям SQL внедрять прогнозы на основе ML в повседневную бизнес-аналитику и аналитику для повышения качества и скорости принятия решений.

Надежный синтаксис Python и богатая экосистема пакетов с открытым исходным кодом делают его популярным выбором для разработчиков, а продолжающееся партнерство Snowflake с Anaconda расширяет доступ к большему количеству пакетов Python без проблем в Snowflake, при этом весь код выполняется в высокозащищенной среде «песочницы». Программа Snowpark Accelerated также демонстрирует постоянный рост во многом благодаря развитию Snowflake в области Python, и все больше партнеров создают решения на Python, чтобы расширить возможности Облака данных на выбранном ими языке.

Allegis Group, глобальная компания, занимающаяся разработкой решений для подбора талантов, полагается на Snowpark для поддержки решений ML и искусственного интеллекта (AI), использующих данные в Allegis Enterprise Data Platform на Snowflake.

Джо Нолте, архитектор AI и MDM в Allegis Group, сказал: «В основе Snowpark лежит расширяемость, и Snowpark для Python предоставляет нам инструменты, необходимые для эффективной работы с данными на выбранном нами языке программирования».

«Snowpark становится нашей предпочтительной платформой для работы с данными и разработки приложений, предоставляя нашим командам бесшовный опыт для легкой совместной работы с данными и объединяя всех на одной платформе для ускорения времени получения отдачи».

Быстрый и эффективный доступ к нужным данным имеет решающее значение для повышения производительности разработчиков, построения моделей ML с повышенной точностью и создания более мощных приложений. Усовершенствования Snowflake позволяют командам быстрее экспериментировать, имея под рукой больше данных, расширяя возможности программирования и делая пользователей более глубокими.

Новые инновации включают:

• Поддержка потоковых данных для устранения границ между потоковыми и пакетными конвейерами с помощью Snowpipe Streaming, который сейчас находится в стадии частного предварительного просмотра, для бессерверного ввода потоковых данных, и Materialized Tables, находящиеся в стадии разработки, которые упрощают декларативное преобразование потоковых данных.
• Iceberg Tables in Snowflake, находящаяся в стадии разработки, позволит пользователям работать с Apache Iceberg, популярным открытым форматом таблиц, во внешнем хранилище, используя при этом преимущества простоты использования, производительности и последовательного управления платформы Snowflake, упрощая общее управление данными и обеспечивая гибкость архитектуры.
• External Tables for On-Premises Storage (в настоящее время находится в стадии частного предварительного просмотра) позволит пользователям получать доступ к своим данным в локальных системах хранения данных, таких как Dell Technologies, Pure Storage и других, из Snowflake, чтобы они могли воспользоваться преимуществами эластичности Data Cloud, не перемещая эти данные.

Кристиан Клейнерман, старший вице-президент по продуктам компании Snowflake, сказал: «Мы инвестируем значительные средства в Python, чтобы облегчить работу специалистов по анализу данных, инженеров по обработке данных и разработчиков приложений, позволяя им создавать еще больше в Data Cloud без компромиссов в управлении».

«Наши последние инновации расширяют ценность экосистем данных наших клиентов, предоставляя им более широкий доступ к данным и новые способы разработки с ними непосредственно в Snowflake. Эти возможности в сочетании с лучшей в своем классе системой безопасности и конфиденциальности данных Snowflake меняют способы проведения экспериментов, итераций и совместной работы с данными для повышения их ценности».