AMD Radeon Instinct MI300X vs NVIDIA RTX PRO 5000 Blackwell Mobile

Сравнение AMD Radeon Instinct MI300X с 192 Гб HBM3 и 19 456 ядрами против NVIDIA RTX PRO 5000 Blackwell Mobile с 24 Гб GDDR7 и 10 496 ядрами.

Загружаемся...

Оценка производительности

AMD Radeon Instinct MI300X опережает NVIDIA RTX PRO 5000 Blackwell Mobile на 399,73% в суммарном рейтинге производительности GPU ARK

A100 A100
H200 H200
MI325X MI325X

AMD Radeon Instinct MI300X

94,1

AMD Radeon Instinct MI300X

94,1
RX 7900 XTX RX 7900 XTX
MI250 MI250
Instinct MI300X Instinct MI300X

NVIDIA RTX PRO 5000 Blackwell Mobile

18,8

NVIDIA RTX PRO 5000 Blackwell Mobile

18,8

Экспертное сравнение

AMD Radeon Instinct MI300X обладает значительно большей пропускной способностью памяти и общим объемом памяти, что делает его более эффективным для вычислений и больших данных. Несмотря на меньшее количество ядер и более низкую производительность в FP32, он подходит для высокопроизводительных вычислений. NVIDIA RTX PRO 5000 Blackwell Mobile лучше подходит для мобильных решений благодаря своей более низкой мощности и более высокой частоте работы, хотя общая производительность ниже.

Содержание:

Память ML-производительность Вычислительная мощность Архитектура и совместимость Программная поддержка ML Частоты и производительность Энергопотребление Рендеринг Бенчмарки Дополнительно

Память

Объем памяти

🔥 +700% 192 ГБ
24 GB

Тип памяти

HBM3 GDDR7

Пропускная способность памяти

🔥 10.3 TB/s
896.0 GB/s

Ширина шины памяти

8 192 бит 256 бит

ML-производительность

FP16 (half)

🔥 +1 753% 653,7 TFLOPS
35,27 TFLOPS

BF16

Нет Нет

TF32

Нет Нет

Вычислительная мощность

FP32 (float)

🔥 +132% 81,72 TFLOPS
35,27 TFLOPS

FP64 (double)

🔥 +14 731% 81,72 TFLOPS
0,551 TFLOPS

CUDA ядра

🔥 +85% 19 456
10 496

RT ядра

Нет 82

Архитектура и совместимость

Архитектура GPU

CDNA 3.0 Blackwell 2.0

SM (Streaming Multiprocessor)

Нет 82

PCIe версия

PCIe 5.0 x16 PCIe 5.0 x16

Программная поддержка ML

CUDA версия

Нет 12.0

CUDA Toolkit (начало поддержки)

v12

Статус CUDA Toolkit

Поддерживается Поддерживается

Частоты и производительность

Base Clock

🔥 +1% 1 000
990

Boost Clock

🔥 +25% 2 100
1 680

Memory Clock

🔥 +44% 2 525
1 750

Энергопотребление

Рекомендуемый БП

1150 W Нет

Разъём питания

None None

TDP/TGP

750 W
🔥 -87% 95 W

Рендеринг

Текстурные блоки (TMU)

🔥 +271% 1 216
328

ROP

Нет 82

L2 Cache

🔥 16 MB
64 MB

Бенчмарки

MLPerf, llama2-70b-99.9 (UNSET)

1 983 tokens/s

MLPerf, llama2-70b-99.9 (fp16)

1 740 tokens/s

MLPerf, llama2-70b-99.9 (fp8)

1 057 tokens/s

MLPerf, llama3.1-405b (UNSET)

30.4 tokens/s

MLPerf, llama3.1-405b (fp16)

34.8 tokens/s

llama.cpp, llama-2-7b-Q4_0

232.9 tokens/s

MLPerf, mixtral-8x7b (fp8)

5 975 tokens/s

Дополнительно

Слоты

OAM Module IGP

Дата выпуска

6 декабря 2023 г. Нет

Дисплейные порты

No outputs
Portable Device Dependent

Арендовать дешевле, чем покупать