Max Home IndustryGraphLab анонсировала программное обеспечение, позволяющее командам специалистов по анализу данных получать представление о больших данных в 10 000 раз быстрее, чем продукты конкурентов, и его можно загрузить бесплатно.
Программное обеспечение GraphLab Create упрощает анализ больших данных, объединяя все этапы процесса от прототипа до производства, позволяя одному специалисту по данным выполнять работу многих, по словам создателей. Компания заявляет, что в настоящее время наблюдается нехватка специалистов по обработке данных, которым необходимо извлекать пользу из данных компании путем интеграции ряда очень сложных, разрозненных инструментов и наборов данных. Используя машинное обучение, GraphLab Create упрощает эту задачу.
Программа начала свою жизнь как исследовательский проект по анализу графов в Университете Карнеги-Меллона. Это было расширено, чтобы добавить возможность обработки таблиц и текста, и компания GraphLab была создана для улучшения проекта с открытым исходным кодом (PowerGraph) и создания коммерческого программного обеспечения.
GraphLab Create 1.0 был официально представлен на конференции GraphLab в Сан-Франциско, где разработчики заявили, что это программное обеспечение от 100 до 10 000 раз быстрее в аналитике и обучении модели, чем другие продукты. GraphLab Create тестировался на продуктах MLlib (часть проекта Apache Spark), Sci-Kit Learn и Mahout.
Основной доклад на конференции показал, что GraphLab Create v1.0 используется для анализа одного терабайта данных или более в интерактивных скоростях на настольных системах. Также было продемонстрировано его использование в распределенных системах с использованием кластера Hadoop Yarn или EC2.
GraphLab Create позволяет переключаться между анализом данных в виде графика или таблицы и может быть включен в продукты данных, которые используют возможности программного обеспечения машинного обучения, текстовой аналитики и графической аналитики. GraphLab Create 1.0 включает GraphLab Canvas, новую платформу визуализации компании для больших данных.
Программное обеспечение предназначено для работы с одним и тем же кодом на разных платформах, поэтому вы можете создать прототип на одной машине, а затем перенести завершенный проект в производство в распределенных системах. Он сертифицирован как совместимый с дистрибутивами Cloudera Hadoop.
Пакет можно использовать через Python API, который дает вам доступ к двум масштабируемым структурам данных, называемым SFrame и SGraph, для анализа наборов табличных и графических данных. Детали продукта говорят:
«Механизм машинного обучения обеспечивает доступ к новейшим алгоритмам машинного обучения, которые являются основными входными данными для многих продуктов данных, таких как рекомендатели, системы обнаружения мошенничества, анализаторы текста и настроений. Входные данные могут быть получены в любой форме и из любого места, будь то локально на платформе или в обычных магазинах, таких как облако Amazon, реляционные и графические базы данных или дистрибутивы Hadoop. Можно легко добавить соединители для дополнительных типов данных и хранилищ».
Масштабируемый фрейм — это средство, с помощью которого GraphLab Create можно использовать с очень большими наборами данных. Данные обрабатываются как серия кадров, масштабируемых структур данных. Программа использует память компьютера для просмотра одного кадра, а если вы работаете на настольном компьютере или портативном компьютере, циклически перебирает данные на жестком диске, кадр за кадром.