Max Home IndustryIBM выпустила устройство для анализа данных, которое может хранить до 10 петабайт данных и анализировать их за считанные минуты. Это первое устройство, разработанное совместно с Netezza, которое IBM купила в прошлом году.
IBM Netezza High Capacity Appliance создает доступный для запросов архив и масштабируется до емкости пользовательских данных более 10 петабайт. он задуман как цель аварийного восстановления для нескольких систем, расширенной аналитики больших объемов данных или управления жизненным циклом информации хранилищ данных.
Он основан на архитектуре асимметричной массивно-параллельной обработки (AMPP), которая, согласно техническому документу, описывающему устройство, придерживается фундаментального принципа информатики: при работе с большими наборами данных не перемещайте данные без крайней необходимости.
Архитектура AMPP
Устройство использует программируемые вентильные матрицы (ПЛИС) для фильтрации посторонних данных как можно раньше в потоке данных и так быстро, как потоки данных с диска. Этот процесс удаления данных рядом с источником данных устраняет узкие места ввода-вывода и освобождает вышестоящие компоненты, такие как ЦП, память и сеть, от обработки избыточных данных, что оказывает существенное мультипликационное влияние на производительность системы.
Платформа Netezza начинается с блоков размером всего несколько сотен гигабайт, а использование открытых блейд-компонентов позволяет изменять соотношение дисковый процессор и память, чтобы учесть необходимость сосредоточения внимания на производительности или хранилище. Та же архитектура также поддерживает системы на основе памяти, которые, согласно официальному документу, обеспечивают чрезвычайно быструю аналитику в реальном времени для критически важных приложений.
Программные компоненты Netezza включают параллельный оптимизатор, который преобразует запросы для более эффективного выполнения; интеллектуальный планировщик и процессоры фрагментов с турбонаддувом, которые одновременно выполняют несколько запросов и сложные аналитические функции.
Эта экскурсия по Netezza Twin-Fin дает обзор аппаратного обеспечения и архитектуры устройства и позволяет оценить его размер — просто представьте его синим, а не зеленым!
Оптимизатор использует все узлы MPP в системе для сбора подробной и актуальной статистики по каждой таблице базы данных, на которую ссылается запрос. Компилятор преобразует план запроса в исполняемые сегменты кода, называемые фрагментами, которые представляют собой сегменты запроса, выполняемые процессорами фрагментов параллельно во всех потоках данных в устройстве. Каждый фрагмент содержит два элемента: скомпилированный код, выполняемый отдельными ядрами ЦП, и набор параметров FPGA для настройки фильтрации механизмов FAST для этого конкретного фрагмента. Эта настройка «сниппет за фрагментом» позволяет платформе Netezza фактически предоставлять аппаратную конфигурацию, оптимизированную «на лету» для индивидуальных запросов.