KFA2 RTX 4080 SG (1-Click OC) 12 GB vs NVIDIA H200 SXM 141 GB

Сравнение KFA2 RTX 4080 SG (1-Click OC) 12 GB с 12 Гб GDDR6X и 7 680 ядрами против NVIDIA H200 SXM 141 GB с 141 Гб HBM3e и 16 896 ядрами.

Загружаемся...

Оценка производительности

H200 H200
MI325X MI325X
A100 A100

KFA2 RTX 4080 SG (1-Click OC) 12 GB

KFA2 RTX 4080 SG (1-Click OC) 12 GB

RX 7900 XTX RX 7900 XTX
Instinct MI300X Instinct MI300X
MI250 MI250

NVIDIA H200 SXM 141 GB

NVIDIA H200 SXM 141 GB

Содержание:

Память ML-производительность Вычислительная мощность Архитектура и совместимость Программная поддержка ML Частоты и производительность Энергопотребление Рендеринг Бенчмарки Дополнительно

Память

Объем памяти

12 GB 141 GB

Тип памяти

GDDR6X HBM3e

Пропускная способность памяти

504.2 GB/s 4.89 TB/s

Ширина шины памяти

192 бит 6 144 бит

ML-производительность

FP16 (half)

41,01 TFLOPS 267,6 TFLOPS

BF16

Нет Нет

TF32

Нет Нет

Вычислительная мощность

FP32 (float)

41,01 TFLOPS 66,91 TFLOPS

FP64 (double)

0,6408 TFLOPS 33,45 TFLOPS

CUDA ядра

7 680 16 896

RT ядра

60 Нет

Архитектура и совместимость

Архитектура GPU

Ada Lovelace Hopper

SM (Streaming Multiprocessor)

60 132

PCIe версия

PCIe 4.0 x16 PCIe 5.0 x16

Программная поддержка ML

CUDA версия

8.9
🔥 9.0

Частоты и производительность

Base Clock

2 310 1 500

Boost Clock

2 670 1 980

Memory Clock

1 313 1 593

Энергопотребление

TDP/TGP

🔥 -59% 285 W
700 W

Рекомендуемый БП

🔥 -45% 600 W
1100 W

Разъём питания

1x 16-pin 8-pin EPS

Рендеринг

Текстурные блоки (TMU)

240 528

ROP

60 Нет

L2 Cache

48 MB 50 MB

Бенчмарки

MLPerf, llama2-70b-99.9 (UNSET)

3 534 tokens/s

MLPerf, llama2-70b-99.9 (fp16)

3 553 tokens/s

MLPerf, llama2-70b-99.9 (fp8)

2 444 tokens/s

MLPerf, llama3.1-405b (fp16)

40.8 tokens/s

MLPerf, llama3.1-405b (fp8)

25.3 tokens/s

MLPerf, llama3.1-8b (fp8)

5 161 tokens/s

MLPerf, deepseek-r1 (fp8)

1 113 tokens/s

MLPerf, mixtral-8x7b (fp8)

7 132 tokens/s

Дополнительно

Слоты

Triple-slot SXM Module

Дата выпуска

Нет 18 ноября 2024 г.

Дисплейные порты

1x HDMI 2.1
3x DisplayPort 1.4a
No outputs

Арендовать дешевле, чем покупать