Зарегистрироваться 8 (800) 350-01-20
Александр

Александр

Редактор блога и новостей, технический писатель с более чем 10-летним опытом в области облачных технологий и серверных ИТ-инфраструктур.

Публикации автора

Дайджест обновлений октября: еще больше GPU в облаке

Привет! Эту осень мы посвятили ИИ: в октябре добавили RTX PRO 6000 Blackwell 96 ГБ для тех, кому уже мало 24 и 48 ГБ памяти, обновили безопасность PHP, опубликовали полезные статьи на Хабре и в нашем блоге. А еще мы снова в топе рейтинга CNewsMarket — в этот раз в области DRaaS! Расширили пул RTX PRO 6000 Blackwell 96 ГБ: больше GPU для ваших […]

Лучшие LLM для видеокарты до 24 ГБ: Топ-6 моделей

Есть распространенное мнение, что для запуска и работы с LLM — большими языковыми моделями — необходимы видеокарты с большим объемом памяти: на 48 ГБ, 96 ГБ или более. В некоторых случаях это действительно так. Однако для многих сценариев, например, инференса и обучения LLM до 13B параметров методом LoRA или QLoRA , запуска агентных моделей, RAG-систем […]

Сентябрь в mClouds: работаем с ИИ на практике

Привет! Первый месяц осени мы посвятили ИИ: расширили выбор GPU-конфигураций для аренды, обновили сервис резервного копирования и подготовили материалы для работы с ИИ — от выбора видеопамяти до запуска помощника по документам компании. Запустили новый тариф: две NVIDIA L4 в одной машине Если одной L4 уже мало, а NVIDIA L40S — это «слишком сложно и дорого», у нас появилось то, что нужно. Конфигурация с двумя NVIDIA […]

Как сократить расходы на ИИ: выбираем GPU для Qwen и других LLM

Для собственного чат-бота компании, поиска по документам или транскрибации голоса, не всегда нужен сервер с самой дорогой видеокартой. Иногда задачу можно закрыть недорогими GPU, например NVIDIA L4 с 24 ГБ памяти. Если LLM модель крупнее или нужна бОльшая скорость, то стоит посмотреть на L40S с 48 ГБ или RTX PRO 6000 Blackwell Server Edition с […]

Как правильно оценить объем VRAM для запуска LLM

При выборе GPU для запуска LLM многие ориентируются только на размер LLM модели: если веса помещаются в память видеокарты, значит всё должно работать. На практике этого недостаточно. Во время инференса VRAM расходуется не только на хранение весов. На итоговое потребление влияют длина контекста, KV-кэш, количество одновременно обрабатываемых запросов, batch size и другие параметры. Разберемся, что […]

Продолжая использовать сайт, вы соглашаетесь с использованием файлов cookie, а также подтверждаете, что ознакомлены и принимаете условия Политики конфиденциальности.
Принимаю