Как правильно оценить объем VRAM для запуска LLM

При выборе GPU для запуска LLM многие ориентируются только на размер LLM модели: если веса помещаются в память видеокарты, значит всё должно работать. На практике этого недостаточно.

Во время инференса VRAM расходуется не только на хранение весов. На итоговое потребление влияют длина контекста, KV-кэш, количество одновременно обрабатываемых запросов, batch size и другие параметры.

Разберемся, что именно определяет расход видеопамяти и почему подобрать GPU только по объему памяти не получится.

Почему размер модели не показывает реальный расход VRAM

При выборе GPU для LLM часто используют простой расчет. Сначала смотрят, сколько параметров содержит модель, затем учитывают формат, в котором хранятся ее веса. Например, в формате FP16 каждый параметр занимает 2 байта памяти. Поэтому модель на 7 млрд параметров потребует около 14 ГБ VRAM только для хранения весов.

Такой расчет полезен, но показывает лишь минимальный объем памяти, необходимый для запуска модели. Во время инференса в VRAM хранятся не только веса, но и другие данные, которые появляются в процессе обработки запросов. Именно они во многих случаях определяют фактическое потребление видеопамяти.

Поэтому случается, что модель с весами объемом 14 ГБ не помещается на GPU с 16 ГБ VRAM. Свободной памяти может не хватить для обработки длинного контекста, одновременной работы нескольких пользователей или других задач, возникающих во время инференса.

При этом объем памяти зависит не только от самой модели, но и от сценария ее использования. Один и тот же LLM может потреблять разный объем VRAM в зависимости от того:

• какой длины входной контекст обрабатывается;

• сколько токенов модель должна сгенерировать;

• сколько запросов выполняется одновременно;

• какие настройки используются при инференсе.

Размер модели — лишь одна из составляющих общего расхода памяти. Он помогает понять, поместятся ли веса модели в память видеокарты, но не позволяет оценить, сколько VRAM потребуется во время работы. Для этого нужно учитывать и другие факторы, которые возникают непосредственно в процессе инференса.

Что сильнее всего влияет на расход видеопамяти

После загрузки весов модели в память GPU объем используемой VRAM начинает зависеть уже не только от самой модели, но и от того, как она используется. Наибольшее влияние оказывают:

• длина входного контекста;

• объем генерируемого ответа;

• количество одновременно выполняемых запросов;

• количество запросов, обрабатываемых за один проход (batch size);

• особенности процесса инференса и используемого программного стека.

Разберем каждый фактор подробнее.

Контекст и KV-кэш

Самый заметный фактор — длина входного контекста. Чем больше текста модель получает на вход, тем больше промежуточных данных ей приходится хранить.

Основную часть этой памяти занимает KV-кэш. Он сохраняет результаты вычислений для уже обработанных токенов, чтобы модели не приходилось заново пересчитывать весь контекст при генерации каждого следующего токена. Это ускоряет инференс, но увеличивает расход видеопамяти.

На практике зависимость выглядит так:

• короткий запрос — небольшой KV-кэш;

• длинный диалог или объемный документ — KV-кэш становится значительно больше;

• длинная генерация ответа также увеличивает его размер, поскольку новые токены продолжают добавляться в кэш.

Именно поэтому длина контекста и объем генерации считаются одними из главных факторов, влияющих на расход VRAM.

Параллельная и пакетная обработка запросов

Если модель одновременно обслуживает нескольких пользователей, для каждого запроса создаются собственные рабочие данные, включая отдельный KV-кэш. Поэтому с ростом числа одновременных запросов увеличивается и потребление памяти.

Кроме того, многие inference-фреймворки объединяют несколько запросов в один пакет (batch) и обрабатывают их одновременно. Такой подход позволяет эффективнее использовать вычислительные ресурсы GPU и повысить общую производительность.

Но есть и обратная сторона: чем больше запросов входит в пакет, тем больше видеопамяти требуется для их обработки.

Внутренние расходы инференса

Помимо обработки пользовательских запросов, память расходуется и на внутренние процессы, необходимые для работы модели.

Во время инференса в VRAM размещаются:

• временные результаты вычислений внутри нейросети;

• рабочие области, необходимые для выполнения операций;

• служебные данные, которые использует программное обеспечение для управления инференсом.

Расход памяти также меняется в зависимости от этапа работы модели. Сначала она обрабатывает входной запрос и подготавливает данные для генерации ответа. Затем начинает генерировать новые токены. На каждом из этих этапов нагрузка на видеопамять распределяется по-разному, поэтому итоговое потребление VRAM может заметно отличаться даже при работе с одной и той же моделью.

В результате реальный расход видеопамяти определяется не одним параметром, а сочетанием сразу нескольких факторов.

Как выбрать GPU под свою нагрузку

После того как вы оценили размер модели, остается ответить на главный вопрос: в каких условиях она будет работать. Именно от этого зависит, сколько видеопамяти действительно потребуется.

Перед выбором GPU стоит определить:

• какую модель вы планируете запускать;

• какой длины будет контекст;

• сколько токенов обычно генерируется в ответ;

• сколько пользователей будут работать с моделью одновременно;

• как быстро система должна отвечать на запросы.

Только после этого имеет смысл выбирать конфигурацию сервера. Если модель работает с небольшим контекстом и умеренной нагрузкой, может быть достаточно GPU с меньшим объемом памяти. Для длинных контекстов, большого числа одновременных запросов или более крупных моделей обычно требуются ускорители с 48 ГБ VRAM и выше.

Даже при таких расчетах заранее невозможно точно определить, сколько памяти будет потреблять модель. Итоговый расход зависит от inference-фреймворка, настроек инференса и реальной нагрузки. Поэтому перед запуском в эксплуатацию имеет смысл протестировать модель в условиях, максимально близких к рабочим.

Для этого у нас в mClouds можно арендовать GPU-серверы с различными конфигурациями, например:

• NVIDIA L4 — 24 ГБ VRAM;

• NVIDIA L40S — 48 ГБ VRAM;

• NVIDIA RTX PRO 6000 Blackwell Server Edition — 96 ГБ VRAM.

Серверы оснащены процессами AMD EPYC с частотами до 4.2 ГГЦ, комплектуются памятью DDR5 и NVMe-накопителями, что не будет являться узким местом при работате с LLM нейросетями. Это позволяет проверить фактический расход VRAM, производительность модели и подобрать конфигурацию до запуска проекта в эксплуатацию.

Подробнее о доступных конфигурациях и условиях аренды можно узнать на странице GPU-серверов mClouds.