NVIDIA L40-2Q vs NVIDIA RTX PRO 6000 Blackwell Server

Сравнение NVIDIA L40-2Q с 2 Гб GDDR6 и 18 176 ядрами против NVIDIA RTX PRO 6000 Blackwell Server с 96 Гб GDDR7 и 24 064 ядрами.

Загружаемся...

Оценка производительности

H200 H200
MI325X MI325X
A100 A100

NVIDIA L40-2Q

22,5

NVIDIA L40-2Q

22,5
MI250 MI250
Instinct MI300X Instinct MI300X
RX 7900 XTX RX 7900 XTX

NVIDIA RTX PRO 6000 Blackwell Server

NVIDIA RTX PRO 6000 Blackwell Server

Содержание:

Память ML-производительность Вычислительная мощность Архитектура и совместимость Программная поддержка ML Частоты и производительность Энергопотребление Рендеринг Бенчмарки Дополнительно

Память

Объем памяти

🔥 2 ГБ
96 GB

Тип памяти

GDDR6 GDDR7

Пропускная способность памяти

864.0 GB/s 1.79 TB/s

Ширина шины памяти

384 бит 512 бит

ML-производительность

FP16 (half)

🔥 90,52 TFLOPS
126,0 TFLOPS

BF16

Нет Нет

TF32

Нет Нет

Вычислительная мощность

FP32 (float)

🔥 90,52 TFLOPS
126,0 TFLOPS

FP64 (double)

Нет 1,968 TFLOPS

CUDA ядра

🔥 18 176
24 064

RT ядра

🔥 142
188

Архитектура и совместимость

Архитектура GPU

Ada Lovelace Blackwell 2.0

SM (Streaming Multiprocessor)

🔥 142
188

PCIe версия

PCIe 4.0 x16 PCIe 5.0 x16

Программная поддержка ML

CUDA версия

8.9
🔥 12.0

Частоты и производительность

Base Clock

🔥 735
1 590

Boost Clock

🔥 2 490
2 617

Memory Clock

🔥 +29% 2 250
1 750

Энергопотребление

TDP/TGP

🔥 -50% 300 W
600 W

Рекомендуемый БП

🔥 -30% 700 W
1000 W

Разъём питания

1x 16-pin 1x 16-pin

Рендеринг

Текстурные блоки (TMU)

🔥 568
752

ROP

🔥 142
188

L2 Cache

🔥 96 MB
128 MB

Бенчмарки

MLPerf, llama2-70b-99.9 (fp4)

3 250 tokens/s

MLPerf, llama3.1-8b (fp4)

5 758 tokens/s

Geekbench AI, FP16

53 322 points

Geekbench AI, INT8

28 264 points

Geekbench AI, FP32

37 299 points

MLPerf, mixtral-8x7b (fp8)

3 767 tokens/s

Дополнительно

Слоты

Dual-slot Dual-slot

Дата выпуска

13 октября 2022 г. 18 марта 2025 г.

Дисплейные порты

4x DisplayPort 1.4a
4x DisplayPort 2.1b

Арендовать дешевле, чем покупать