Databricks добавляет экспорт модели ML

Databricks добавила функцию экспорта моделей машинного обучения, которую можно использовать для экспорта моделей из Apache Spark MLib.

Apache Spark — это бесплатная версия для сообщества облачной платформы больших данных Databricks. По данным Apache, он реализован на Scala и Java, работает в кластере и улучшает производительность Hadoop MapReduce, выполняя программы до 100 раз быстрее в памяти и в 10 раз быстрее на диске. Коммерческим продуктом Databricks является унифицированная аналитическая платформа. Это запускает оптимизированную версию Spark, которая может быть от 10 до 40 раз быстрее, а также интерактивные записные книжки, интегрированные рабочие процессы и полную безопасность предприятия.

Новой функцией является экспорт моделей Databricks ML, которую можно использовать для экспорта моделей и полных конвейеров машинного обучения из Apache Spark MLlib. Эти экспортированные модели и конвейеры можно импортировать на другие платформы (Spark и не Spark) для оценки и прогнозирования. Эта новая функция призвана обеспечить альтернативу пакетному и потоковому прогнозированию в Spark. Экспорт модели позволяет достичь очень низкой задержки в диапазоне миллисекунд и открывает путь к использованию моделей и конвейеров машинного обучения в настраиваемых развертываниях.

Модели MLlib экспортируются как файлы JSON с форматом, соответствующим формату сохраняемости Spark ML. Ключевыми отличиями от формата MLlib являются использование JSON вместо Parquet и добавление дополнительных метаданных. Эти дополнительные метаданные позволяют проводить оценку вне Spark.

Список поддерживаемых моделей начинается с полных конвейеров машинного обучения, которые содержат поддерживаемые преобразователи и модели. Трубопроводы необходимо обучить. Конкретные типы моделей, которые можно экспортировать в этом выпуске, включают классификатор дерева решений; регрессия дерева решений; логистическая регрессия; классификатор случайных лесов; и случайная лесная регрессия. Поддержка большего количества типов моделей будет добавлена в будущих выпусках.