Dell EMC Isilon и Dell EMC DSS 8440: тестирование эталонной архитектуры

Ключевые функции массива Isilon делают его мощным хранилищем для решений DL. Мы представили высокопроизводительную архитектуру для DL, объединив серверы Dell EMC DSS 8440 с графическими процессорами Tesla V100, NAS Dell EMC Isilon F800 All-Flash и коммутаторы Dell EMC POWERSWITCH S5232. Эта новая эталонная архитектура делает решение задач ИИ более простым и доступным для каждой организации.

2-процессорный сервер DSS 8440 в корпусе 4U обеспечивает высокую производительность вычислений. Его открытая архитектура максимально расширяет возможности выбора инфраструктуры машинного обучения, а также предоставляет лучшие в своем классе технологии (объединяя технологии поставщика серверов №1 и поставщика графических процессоров №1). Это позволяет адаптировать инфраструктуру машинного обучения к конкретным потребностям.

Сервер оснащается 4, 8 или 10 графическими процессорамми NVIDIA® Tesla® V100 Tensor Core в сочетании с 2 процессорами Intel для системных функций, а также высокопроизводительной коммутирующей фабрикой PCIe для быстрого ввода-вывода он содержит до 10 локальных накопителей NVMe и SATA для оптимизированного доступа к данным. Этот сервер обладает как высокой производительностью, так и гибкостью, что делает его идеальным решением для задач машинного обучения, а также других ресурсоемких рабочих нагрузок, таких как моделирование, предиктивная аналитика и анализ в инженерных и научных средах.

Сервер Dell EMC DSS 8440 с 10 графическими процессорами Tesla V100.

NVIDIA GPU Cloud (NGC) предлагает реестр оптимизированных контейнеров для широкого спектра сред машинного обучения, включая TensorFlow, PyTorch, и

MXNet. Наряду с настроенным на производительность стеком NVIDIA AI эти интегрированные контейнеры включают набор инструментов NVIDIA® CUDA®, библиотеки глубокого обучения NVIDIA и лучшее программное обеспечение ИИ. Они помогают ученым и исследователям данных быстро создавать, обучать и развертывать модели искусственного интеллекта.

Тестирование

Мы предлагаем нашим клиентам осознанный выбор и гибкость при развертывании высокопроизводительного DL в масштабе. Чтобы проверить эту архитектуру, мы провели несколько тестов классификации изображений и представили данные о производительности системы на основе скорости обработки изображений и профиля пропускной способности ввода-вывода.

Результаты тестов

Результаты тестов: пропускная способность системы при обучении модели (представлены результаты для контейнера 19.03-py3).

Тесты проводились с графическими процессорами Tesla V100-PCIE-32GB, установленными на сервере DSS 8440.

Из результатов тестов можно сделать несколько выводов.

  • Максимальная поддерживаемая пропускная способность Isilon достигается с10 графическими процессорами. Общая пропускная способность хранилища составила 831 МБ/с. Это далеко от максимальной пропускной способности кластера Isilon, используемого в этом тесте, которая может превышать 15 000 МБ/с (в зависимости от схемы ввода-вывода).
  • Для всех тестов загрузка каждого GPU составляла до 97% или выше. Это указывает на то, что узким местом был графический процессор.
  • Максимальная загрузка ЦП на сервере DSS 8440 составила 60%.

Мы также провели мониторинг и представили статистику использования ЦП, использования графического процессора и памяти, которая показала, что ресурсы графического процессора были задействованы полностью, при этом ввод-вывод не был полностью насыщен.

На протяжении всех тестов мы проверяли способность Isilon All-Flash F800 поддерживать скорость вычислений и линейно масштабировать производительность в сочетании с серверами Dell EMC DSS 8440.

Важно отметить, что алгоритмы DL предъявляют разнообразные требования к профилям вычислений, памяти, ввода-вывода и емкости диска. Тем не менее, представленные здесь сведения можно использовать в качестве отправной точки для построения решений DL, адаптированных к различным наборам требований к ресурсам. Все компоненты этой архитектуры являются линейно масштабируемыми и могут независимо наращиваться для решений DL, работающих с петабайтными массивами данных.

Таким образом, решения DL на базе массива Isilon обеспечивают емкость (до 58 ПБ на кластер), производительность и высокий уровень параллелизма для устранения узких мест в системе хранения ввода-вывода для задач ИИ. Это обеспечивает надежную основу для крупномасштабных решений DL корпоративного уровня с перспективной архитектурой горизонтального масштабирования, которая отвечает потребностям современных нагрузок ИИ и легко наращивается для будущих задач.

Dell Technologies

About the Author: Dell Technologies