Графический процессор NVIDIA L40S

NVIDIA L40S — высокопроизводительный графический процессор, разработанный для выполнения задач, связанных с искусственным интеллектом, машинным обучением, генеративными нейронными сетями (включая большие языковые модели), а также для графической визуализации и рендеринга.

Особенности NVIDIA L40S

• Последнее поколение видеокарт на микроархитектуре NVIDIA Ada Lovelace:
  
  - 3 поколение ray tracing ядер: используется для создания реалистичной графики симулируя физическое поведение света.
  - 4 поколение tensor ядер: специально разработаны для ускорения матричных вычислений и используются в генеративном AI, компьютерном зрении и для инференса нейросетей.

• Поддержка больших моделей: идеально подходит для обработки больших языковых моделей, таких как GPT и BERT.
• Универсальные возможности: используйте для инференса или размещайте виртуальные рабочие столы (VDI) для работы с BIM или для рендеринга 3D моделей.

Параметры NVIDIA L40S

• Архитектура: NVIDIA Ada Lovelace
• Видеопамять: 48 Гбайт
• CUDA-ядер: 18 176
• RT-ядер: 142
• Tensor-ядер: 568

Производительность NVIDIA L40S

• TF32 - 183 TFLOPS (366 TLFOPS*)
• BFLOAT16, FP16 - 362.05 TFLOPS  (733 TFLOPS*)
• FP8 - 733 TFLOPS (1 466 TFLOPS*)

* в режиме sparisity (определение и удаление некритичных параметров без значимого ухудшения качественных метрик модели)

Сравнение производительности с NVIDIA A100

Применение NVIDIA L40S

• Генеративный AI: идеальная платформа для ускорения мультимодальных рабочих нагрузок генеративного ИИ.
• Инференс и LLM: тензорные ядра 4-го поколения с поддержкой FP8 обеспечивают исключительную производительность вычислений в области ИИ для ускорения обучения и выводов современных моделей LLM и генеративного ИИ.
• Рендеринг и 3D-графика: создавайте визуальный контент высокого качества и ускоряйте творческий процесс за счёт уменьшения времени рендеринга.
• NVIDIA Omniverse: позволяет командам работать в едином пространстве и в реальном времени обмениваться результатами, моделями и анимациями.
• NVIDIA OVX L40S: в сочетании с технологией NVIDIA Spectrum-X Ethernet и ПО NVIDIA AI Enterprise обеспечивает лучшую в индустрии производительность для ускорения трансформации предприятий с помощью генеративного ИИ.

Аренда сервера с NVIDIA L40S

Вы можете арендовать сервер на нашей платформе и использовать все возможности NVIDIA L40S в облаке для использования в инференсе.