Редактор блога и новостей, технический писатель с более чем 10-летним опытом в области облачных технологий и серверных ИТ-инфраструктур.
При выборе GPU для запуска LLM многие ориентируются только на размер LLM модели: если веса помещаются в память видеокарты, значит всё должно работать. На практике этого недостаточно. Во время инференса VRAM расходуется не только на хранение весов. На итоговое потребление влияют длина контекста, KV-кэш, количество одновременно обрабатываемых запросов, batch size и другие параметры. Разберемся, что […]
Жаркий летний дайджест Привет! За окном лето и мы к вам с горячими новостями. Вот что у нас нового: сделали еще доступнее видеокарты NVIDIA L40S и A16, завершили аттестацию платформы по 152-ФЗ, попали на карту ИТ-лидеров CNewsMarket и, конечно, продолжили публиковать статьи на Хабре и в нашем блоге. Заходите, чтобы узнать о процессорах EPYC Venice […]
Когда пользователи жалуются, что «1С тормозит», первым делом обычно запускают тест Гилёва. Он действительно стал отраслевым стандартом для оценки производительности 1С, а также для планирования сервера для 1С, однако показывает лишь часть картины. Даже высокий результат не гарантирует, что система будет быстро работать под реальной нагрузкой. Чтобы объективно оценить производительность платформы 1С, нужно смотреть сразу […]
В mClouds действуют специальные цены на облачные GPU серверы с видеокартой NVIDIA L40S 48 ГБ — одной из самых мощных GPU с памятью 48GB для обучения и инференса нейросетей Теперь сервер с GPU NVIDIA L40S можно арендовать по сниженной цене уже с полным набором вычислительных ресурсов в виде GPU сервера: Сервер с GPU по тарифу […]
Привет! Мы к вам с майскими обновлениями. Вот что у нас нового: открыли для заказа диски PCIe Gen 5 уже с видеокартами NVIDIA L4 24 ГБ, добавили Ubuntu 26.04 в доступные образы для IaaS, обновили сайт и улучшили раздел поддержки. Кроме того, опубликовали новые материалы — заходите на Хабр, чтобы посмотреть, как выглядит новый кластер […]
Ваше сообщение отправлено, мы вам перезвоним в самое ближайшее время!