GPU для нейросетей: выбор карты для машинного обучения в облаке

GPU (GraphicsProcessing Unit) — мощный инструмент для ускорения машинногообучения и обработки данных. От выбора модели видеокарты зависит мощность ИИ и скорость его обучения. В этой статье рассмотрим преимущества использования видеокарт, расскажем, какие чипы лучше подходят для ИИ, и объясним, как работает GPU в облаке.

Какие GPU для обучения существуют и есть ли альтернатива NVIDIA

NVIDIA — самый известный производитель карт, а его единственный конкурент в этой нише — компания AMD. Однако AMD в серверах для machine learning используют намного реже. Хотя у этого бренда и есть GPU, созданные для работы с нейросетями, например Instinct MI300, они уступают NVIDIA по целому ряду показателей:

1. Производительность. NVIDIA предлагает более мощные GPU, оптимизированные для параллельных вычислений, что критично для задач глубокого обучения.
2. CUDA. Программная платформа CUDA — стандарт в индустрии. Она обеспечивает высокую производительность и совместимость с популярными фреймворками, такими как TensorFlow, PyTorch.
3. Сетевые технологии. NVIDIA развивает высокопроизводительные сетевые решения для объединения множества GPU, что важно для масштабирования.
4. Контроль рынка. NVIDIA занимает более 95% рынка ИИ-микросхем, что создает развитую экосистему поддержки и инвестиций.

Эти факторы делают видеокарты NVIDIA предпочтительными для решения задач искусственного интеллекта.

Почему для обучения нужны именно GPU

Несмотря на то что обучать и строить модели искусственного интеллекта можно и на процессоре, всё же в гонке за эту отрасль победили видеокарты. Почему? Дело в различиях GPU и CPU:

1. Даже топовый процессор AMD EPYC 9965 со 192 ядрами и его конкурент Intel Xeon 6980P со 128 ядрами не сравнятся с видеокартами. В GPU речь идет о тысячах ядер, работающих параллельно. Благодаря этому вычисления и обучение больших моделей ИИ ускоряются.
2. GPU куда эффективнее используют энергию: показывают куда большую производительность на 1 Вт затраченной электроэнергии. Например, топовый в момент выхода AMD Ryzen 9 5900X выдает 0,00476 TFLOPS на 1 Вт энергии. В то же время его одногодка NVIDIA A100 выдает результат в 0,5 TFLOPS за то же количество потраченной энергии, то есть обгоняет Ryzen в 105 раз.
3. Для видеокарт постоянно выходят улучшения библиотек и драйверов, которые помогают эффективно использовать мощности GPU. К таким, например, относятся библиотеки CUDA, которые выпускает NVIDIA для своих продуктов. Это незаменимый инструмент, который позволяет как ускорить рендеринг видео, сложных эффектов и 3D-моделей, так и эффективно работать с обучением глубоких ИИ-моделей.
4. Отличная поддержка разработчиков, выпускающих свои реализации фреймворков для обучения ИИ. Например, популярные PyTorch и TensorFlow созданы с учетом работы с тензорными ядрами в современных GPU. 

Программное обеспечение для высокопроизводительных вычислений, скорость и энергоэффективность делают GPU отличным выбором для обучения ИИ-моделей.

Как выбрать видеокарту в облаке

Облачные сервисы удобны тем, что предлагают серверы на разных видеокартах, и при желании можно протестировать разные варианты, чтобы найти оптимальный. Среди видеокарт NVIDIA существуют три класса продуктов:

• Геймерские. Обеспечивают высокую производительность в играх и графических приложениях, позволяют быстро обрабатывать 3D-графику и поддерживают современные технологии. Например, NVIDIA GeForce RTX 4090 с памятью 24 Гб хватит для базового применения в работе с ИИ. А вот геймерские видеокарты младших серий GTX лучше не использовать для ML-задач, так как у них небольшой объем памяти и мало CUDA-ядер. Также не рекомендуем использовать карты без тензорных ядер. 
• Для рабочих станций. Эти видеокарты оптимизированы для профессиональных программ, таких как CAD и 3D-моделирование. Например, это линейка NVIDIA RTX A6000 Ada.
• Для дата-центров. Предназначены для обработки больших объемов данных и выполнения параллельных вычислений, в том числе для обучения ИИ. Например, NVIDIA L4 и L40S поколения Ada Lovelace.

Чтобы правильно подобрать видеокарту, нужно понимать, какими характеристиками она обладает. Рассказываем о главных из них и сравниваем модели.

Микроархитектура

NVIDIA с каждым поколением увеличивает количество транзисторов, CUDA-, RT- и Tensor-ядер. Растет и размер видеопамяти в топовых моделях. Всё это положительно влияет на пропускную способность и расчет прежних типов моделей, а также позволяет внедрять новые, более производительные методы вычислений.

Устаревшие по меркам работы с ИИ архитектуры не всегда совместимы с новыми версиями CUDA и библиотеками Hugging Face — инструментами для работы с моделями ИИ и естественного языка. Свежий код, написанный для новой архитектуры, может просто не запуститься на старых GPU. Именно поэтому рекомендуем использовать свежие микроархитектуры видеокарт:

• Hopper;
• Ada Lovelace;
• Ampere.

Производительность GPU

У разных GPU разная скорость работы с операциями с плавающей запятой: FP64, FP32, FP16. В то время как для научных исследований и проектирования требуются точные FP64 и FP32, для обучения ИИ подходит менее точный формат представления чисел FP16, который использует 16 бит для хранения одного числа.

Поэтому при выборе видеокарт для обучения нейросетей и генерации графики, таких как NVIDIA L4, L40S и A100, смотрите на производительность тензорных ядер. Именно они ускоряют выполнение операций с низкой точностью (FP16), что важно для обучения и инференса моделей deep machine learning. Современные тензорные ядра также поддерживают формат TF32, чтобы обучать нейросети получалось еще быстрее.

А вот CUDA-ядра предназначены для стандартных вычислений с одинарной точностью (FP32). Это экономит время и память, что хорошо для рендеринга, генерации изображений и других приложений реального времени. 

Карта NVIDIA L40S показывает высокую производительность как в тензорных вычислениях, так и в вычислениях с одинарной точностью, поэтому ее можно одинаково эффективно использовать в обоих случаях.   

Память

Что касается памяти, ее много не бывает. Тенденция такова, что появляются всё более тяжелые модели ИИ на сотни миллиардов параметров, но параллельно с ними развиваются и легкие варианты. Например, компактная модель Mistral-7B умудряется побеждать по некоторым параметрам более тяжеловесную llama2-13B.

Тут нужно определиться, что именно вы планируете делать:

• инференс — выполнение уже обученной модели ИИ для работы с новыми данными;
• обучение — обработку данных, принятие решений и извлечение знаний для обучения собственно модели.

Большая часть задач для обсчета ИИ-приложений закрывается при 24–48 Гб памяти. Чтобы попробовать свои силы в AI, можно начать с видеокарты с 24 Гб памяти. На таких GPU можно запускать инференс небольших моделей для обработки текста и классификации изображений вроде урезанных версий DistilBERT или GPT2.

Для работы с большим объемом данных вроде обучения современных моделей Transformer, на которым основаны текущие версии GPT и Bert, 24 Гб будет мало. Для таких целей, а также для задач компьютерного зрения, исследований, разработки новых моделей и алгоритмов нужно минимум 40 Гб.

Тип памяти

В современных видеокартах NVIDIA используются типы памяти GDDR6, GDDR6X и HBM, включая модификацию HBM2e.

• GDDR6 — современный стандарт видеопамяти с пропускной способностью до 16 Гбит/с. Широко используется в графических картах для игр и запуска приложений с функциями, основанными на ИИ.
• GDDR6X — усовершенствованная версия GDDR6, достигающая скорости до 21 Гбит/с. Применяется в высокопроизводительных картах, таких как NVIDIA GeForce RTX 4080 и 4090.
• HBM (high bandwidth memory) — память с высокой пропускной способностью, организованная в многослойные чипы. HBM2 и HBM2e обеспечивают до 2 Тб/с и используются в профессиональных моделях GPU, таких как NVIDIA A100.

Питание

Видеокарты, которые делают модели и обучают ИИ, постоянно загружены на 100%. Соответственно, они потребляют максимально требуемую для них мощность. Исходя из этого показателя можно представить, сколько будет стоить месяц беспрерывной работы такого GPU. Например, одна RTX 4090 за месяц работы потратит 360 кВт.

Что еще учесть при использовании GPU

• Объем ОЗУ. Если самая объемная видеокарта в системе имеет, допустим, 24 Гб памяти, то и оперативной памяти должно быть минимум 24 Гб. Желательно, чтобы это была быстрая DDR5.

Мощность процессоров. Чтобы избежать задержек и использовать весь потенциал GPU, удостоверьтесь, что в сервере установлены мощные процессоры. Например, наши серверы с NVIDIA L40S включают по два 32-ядерныхпроцессора EPYC 9374F с быстрой памятью DDR5.

Сравнение карт разных классов

В таблице ниже собрали список оптимальных решений для различных задач машинного обучения.

* Представленные цены на GPU актуальны на октябрь 2024 года

Лучшими по соотношению энергопотребления и производительности оказались GPU, изначально созданные с прицелом на бесперебойную работу в условиях дата-центров и обработку массивного объема информации. Стоит отметить, что NVIDIA A100 — это модель предыдущего поколения, более новая L40S превосходит ее по производительности и стоит дешевле. А для еще более экономичной работы с инференсом нейросетей и решения других задач AI/ML подойдет видеокарта NVIDIA L4, которую также можно протестировать в нашем облаке.

Как работает GPU в облаке mClouds

Поскольку сборка собственной системы на основе видеокарт — сложное и дорогостоящее мероприятие, присмотритесь к облачным GPU. Например, в mClouds для задач по запуску и обучению ИИ есть серверы с видеокартами NVIDIA TESLA A16, а также L4 и L40S. 

В отличие от физического устройства в офисе облачные серверы с GPU легко масштабируются. Вы можете подключить к ним больше, чем по одной карте: две L4 по 24 Гб дадут уже 48 Гб памяти, а две L40S — 96 Гб памяти для работы с ИИ в облаке. При появлении в облаке новых моделей GPU будет легко «перевезти» свой проект на современные рельсы парой кликов мыши.

С облачным GPU вы получаете доступ к дополнительным услугам. Например, в mClouds вы можете рассчитывать на бесплатную миграцию данных в наше облако, быстрый канал связи до 120 Мбит/с, защиту от DDoS-атак и резервное копирование минимум раз в неделю.