Лучшие LLM для видеокарты до 24 ГБ: Топ-6 моделей

Есть распространенное мнение, что для запуска и работы с LLM — большими языковыми моделями — необходимы видеокарты с большим объемом памяти: на 48 ГБ, 96 ГБ или более. В некоторых случаях это действительно так. Однако для многих сценариев, например, инференса и обучения LLM до 13B параметров методом LoRA или QLoRA , запуска агентных моделей, RAG-систем или работы с базой знаний, будет достаточно карты до 24 ГБ, а значит, нет необходимости переплачивать за лишний объем — ни при покупке, ни при аренде GPU. Решили разобраться, какие LLM-модели помещаются в одну видеокарту до 24 ГБ, на примере имеющихся у нас NVIDIA L4 24GB. Такие локальные LLM можно развернуть на собственном сервере или через аренду сервера с GPU, не отправляя данные во внешние API. Внешние API коммерческих систем постоянно снижают лимиты использования и увеличивают цену за подписку, поэтому это еще и способ экономии на оплате подписок.

Gemma 4 12B

Gemma 4 12B — открытая мультимодальная языковая модель, выпущенная в июне 2026 года. Она умеет работать с текстом, изображениями и аудио, а контекстное окно составляет 256 тысяч токенов. Модель имеет плотную структуру, где при обработке каждого токена задействуются все параметры модели, а их 12 млрд. Это дает предсказуемое потребление памяти, стабильную скорость инференса и простой деплой без сложностей.

Gemma 4 12B подходит для создания чат‑ботов и ассистентов, в том числе с распознаванием изображений и голоса. Ее можно использовать в RAG‑пайплайнах — модель уверенно работает с подгруженным контекстом и опирается на него при генерации, снижая галлюцинации. Также Gemma 4 12B можно использовать для работы в тестовых средах. Например, проверять пайплайны (Docker, CI/CD)  перед переносом на более мощные GPU.

Давайте выясним, хватит ли для запуска модели одной карты на 24 ГБ. Возьмем связку NVIDIA L4 + Gemma 4 12B.

У карты 24 ГБ видеопамяти GDDR6. Веса модели в BF16 занимают около 24 ГБ — то есть всю память карты, без запаса под KV‑cache и runtime. Для реальной работы, с KV‑cache и runtime, NVIDIA L4 используют с квантованными версиями (8-bit, 4-bit, AWQ, GPTQ). 8-bit-версия занимает около 13 ГБ, 4-bit-модель — примерно 7–9 ГБ, и остается хороший запас под контекст и кэш.

Скорости тоже будет достаточно: на тензорных ядрах архитектуры Ada, на которой построена NVIDIA L4,  аппаратно поддерживается FP8: работает быстро и занимает вдвое меньше памяти, чем BF16. Теоретический потолок скорости генерации в 4-bit — около 40 токенов/с на один поток, реальная скорость, как правило, ниже.

Что касается обработки промпта, то здесь все зависит от длины контекста. В 4-bit на L4 остается 14–15 ГБ под KV-cache — этого хватает на десятки тысяч токенов контекста, а узким местом на длинных промптах становится скорость префилла, а не память. То есть префилл на L4 будет заметно быстрее, чем на более слабых картах, но медленнее, чем на L40S или RTX PRO 6000 Blackwell. Тут и ниже рассматриваем в основном профессиональные GPU, но задачи можно запускать и на домашних GPU, например RTX 5080, RTX 4090 и всех, у которых есть запас по памяти до 24 Гб. Кстати, ранее в нашем блоге, уже сравнивали потребительские карты RTX 4090 и 5090 с профессиональной L40S.

Qwen3.5-9B

Мультимодальная модель входит в семейство Qwen3.5. Выпущена в марте 2026 года. Модель хорошо работает с  длинным контекстом без взрывного роста памяти. Кроме того, за счет сокращения KV‑кеша модель лучше укладывается в лимиты карт и позволяет увеличить размер батча.

Qwen3.5-9B можно запустить на локальной машине — ей достаточно 8–12 ГБ видеопамяти в зависимости от квантования, чтобы загрузиться и работать, например, в тестовом пайплайне или прототипе. Для локального запуска подойдут LM Studio или LLM Studio, Ollama или llama.cpp, а для продакшена — vLLM. Модель помещается и в 16GB видеокарты, например можно запустить и работать на NVIDIA A16 или  NVIDIA T4 16GB, но на L4 она будет работать заметно быстрее. 

Модель подходит для работы с текстом, программирования и работы с кодом, распознавания и анализа текста и изображений, создания автономных агентов для автоматизации рутинных задач.

Рассмотрим связку L4 и Qwen3.5-9B, чтобы понять, хватит ли относительно небольшого объема памяти в 24 ГБ для запуска. 

В чистом FP16 на L4 модель помещается с трудом: 9 млрд параметров занимают около 18 ГБ, а под контекст остается всего 6 ГБ. Это слишком мало для длинного контекста. Однако в квантовании до INT4 вес модели сжимается примерно до 5,5–6 ГБ, а в INT8 — до 10–11 ГБ — этого уже хватит для запуска и остается приличный запас под контекст. Кроме того, благодаря гибридному механизму, KV-кеш у Qwen3.5 растет очень медленно, и 14 ГБ остатка хватит примерно на 450 000 токенов. Это полностью перекрывает нативное контекстное окно модели в 262K и позволяет обрабатывать огромные книги или пачки документов за раз. Однако префилл сотен тысяч токенов на L4 идет не особо быстро. Расширить контекст до ~1 млн токенов можно через YaRN, но на L4 это возможно только на пределе: даже с FP8-кешем 1 млн токенов займет около 16 ГБ, поэтому веса придется держать в INT4. Кроме того, YaRN может ухудшать качество на коротких запросах. Тут уже имеет смысл рассматривать более производительные GPU с большим размером видеопамяти - от 48GB и выше.

Для легкой модели пропускной способности в 300 ГБ/ памяти у NVIDIA L4 хватает: в INT4 теоретический потолок генерации — около 50 токенов/с на поток, а батчинг позволяет обслуживать несколько пользователей одновременно.

gpt-oss-20b

Открытая языковая модель от OpenAI выпущена в августе 2025 года. Хоть модель и не новая, но мы решили тоже включить ее в обзор, так как ее все еще часто используют. Модель относится к классу моделей с рассуждением, то есть может по запросу давать не только финальный ответ, но и ход своих размышлений. Глубину рассуждений можно настраивать, а контекстное окно составляет 128K токенов.

gpt-oss-20b оптимальна для встраиваемых и персональных помощников, локальных ботов и приложений, где критична автономность и приватность данных. Но качество нужно тестировать по конкретную задачу.

Благодаря встроенному квантованию MXFP4, 24 ГБ достаточно для запуска. Сами веса модели занимают примерно 12–13 ГБ на диске, а для загрузки модели в VRAM нужно около 16 ГБ. Оставшейся памяти хватает на полное контекстное окно 128K. 

PaddleOCR-VL-1.6

Визуально-языковая модель (VLM) от команды PaddlePaddle (Baidu). Она умеет умеет работать с текстами, таблицами, формулами, диаграммами и хорошо понимать полную структуру документа. Отлично справляется с разными типами изображений и мелкими и искаженными текстами. А интеграция с PP‑DocLayoutV3 позволяет автоматически определять структуру документа с выделением заголовков, таблиц, колонок и других элементов с их положением внутри документа. Можно сразу правильно извлекать информацию и конвертировать ее в нужные форматы (JSON, таблицы) без ручной разметки. 

PaddleOCR-VL-1.6 хорошо подходит для задач, связанных с конвертацией и распознованием документов.

PaddleOCR‑VL‑1.6 — компактная модель, имеет около 0,9 млрд параметров, и даже с учетом визуальных энкодеров, буферов и постобработки она комфортно помещается в 24 ГБ VRAM. Это оставляет запас под параллельную обработку нескольких изображений или более крупные входные картинки.

Qwen3.6-35B-A3B

Модель из семейства Qwen3.6, выпущенная в апреле 2026 года, имеет 35 млрд параметров. Модель мультимодальная, нативное контекстное окно — 262K токенов.

Qwen3.6-35B-A3B подходит для программирования и агентных сценариев, работы с длинными документами и RAG — там, где нужна модель уровня 30B+, но важна скорость ответа. На L4 с 24GB модель запускается в 4-битном квантовании: веса занимают около 17–21 ГБ в зависимости от варианта сборки. 

Главное преимущество модели - скорость работы. Поскольку на каждый токен читаются веса до 3 млрд активных параметров, генерация идет в разы быстрее, чем у плотных моделей 27–32B, не упираясь в пропускную способность памяти NVIDIA  L4. 

Qwen3.8-27B

Qwen3.8-27B — LLM-модель, выпущенная в августе 2026 года. Это плотная мультимодальная модель, ее стоит рассмотреть для работы с кодом, документами и многошаговыми задачами, если компактной Qwen3.5-9B уже не хватает по качеству.

На 24GB видеопамяти модель следует запускать в квантованном формате: полные 16-битные веса занимают около 55–56 ГБ, не считая памяти под контекст и рабочие буферы. В 4-битном квантовании (Q4_K_M) веса вместе с визуальным модулем занимают около 16–17 ГБ — на L4 остается место примерно под 90–100K токенов контекста. Скорость генерации при этом ограничена пропускной способностью памяти: теоретический потолок — около 17–18 токенов/с на поток. NVIDIA L40S с 48 ГБ позволяет использовать менее сильное квантование, например официальную FP8-сборку с около 31 ГБ, и оставить больше памяти под запросы. Для запуска без квантования подойдет RTX PRO 6000 Blackwell 96GB: на ней разместятся BF16-веса и останется запас для контекста. Доступную длину контекста и число одновременных запросов нужно проверить на выбранном движке. Но это уже выходит за рамки применения модели с GPU до 24 ГБ видеопамяти.

Qwen3.8-27B стоит сравнить с Qwen3.6-35B-A3B на собственных задачах: проверить качество ответов, расход памяти и задержку. Как правило, плотная 27B точнее, а MoE заметно быстрее. 

А что если только 16GB видеопамяти?

Посмотрим на примере NVIDIA T4 16Gb или NVIDIA A16 16GB — карты предыдущих поколений, но часто используются для аренды GPU, как бюджетный вариант. Часть моделей из подборки поместится и них: Gemma 4 12B и Qwen3.5-9B в 4-битном квантовании, PaddleOCR-VL-1.6 и — на пределе памяти — gpt-oss-20b. Qwen3.6-35B-A3B и Qwen3.8-27B в 16 ГБ уже не помещаются.

Но даже с моделями, которые помещаются в 16 ГБ, NVIDIA L4 работает значительно быстрее:

Вычисления. тензорные ядра L4  дают почти вдвое больше FP16-производительности, чем у T4. Это напрямую ускоряет обработку промпта и одновременную работу нескольких пользователей. 

Современные форматы и оптимизации. T4 не поддерживает BF16 и FP8: модели, выпущенные в BF16, приходится переводить в FP16, а быстрые FP8-сборки недоступны. Кроме того, на T4 длинный контекст обрабатывается заметно медленнее.

Память. У L4 на 8 ГБ больше видеопамяти, поэтому при той же модели остается больше места под контекст и параллельные запросы.

При этом скорость генерации одного ответа для одного пользователя у карт близка: пропускная способность памяти у них сопоставима. Разница проявляется на длинных промптах, в RAG и при нескольких одновременных запросах — то есть как раз в рабочих сценариях. Поэтому NVIDIA T4 16GB подойдет для тестов и легких моделей, а для продакшена и работы с LLM под нагрузкой лучше выбрать L4. Более подробное сравнение видеокарт NVIDIA L4 и карты предыдущего поколения NVIDIA T4 мы уже делали у нас в блоге.

Подведем итоги: 24GB подходит для запуска средних LLM

Как мы выяснили, для комфортного запуска средних моделей совсем не обязательно покупать карту на 48 ГБ или 96 ГБ — а при аренде GPU не нужно платить за лишнюю память. Все шесть моделей из нашей подборки лучших LLM для 24 ГБ можно запустить на одной карте NVIDIA L4 24GB или другой с 24GB.  С некоторыми моделями получится работать и на 16GB видеокарте.

Оптимальный баланс для инференса LLM среднего размера. Объем памяти в 24 ГБ позволяет разместить не только сами веса модели, но и необходимый контекст, а также данные для инференса. 

Также стоит учесть и достаточную пропускную способность памяти.  Для плотных моделей крупнее и высокой нагрузки лучше подойдут L40S с более 864 ГБ/с или RTX PRO 6000 Blackwell с более чем 1600 ГБ/с

А если не хватает 24GB?

Если одной GPU, такой как L4 окажется мало, можно пробросить две видеокарты в одну виртуальную машину, и суммарно получится 48 ГБ VRAM. Но нужно будет разбить карту видеокарту на свою задачу, с этим умеют вполне работать фреймворки для запуска моделей. Часто пробросить двух, более простых карт, оказывается практичнее и дешевле, чем сразу брать более мощную и дорогую карту вроде L40S 48GB, если пиковые нагрузки возникают не постоянно. А для обучения LLM крупнее 13B параметров и запуска моделей без квантования лучше сразу выбрать RTX PRO 6000 Blackwell с 96 ГБ памяти. 

В заключении напомним, что у нас в mClouds, доступна аренда GPU для работы с LLM, от самого небольшого объема видеопамяти, до возможности объединения и проброса пары мощных GPU RTX 6000 PRO Blackwell  в один сервер, получив сразу 192GB видеопамяти для рабочих применений.