NVIDIA Tesla T4 vs Sapphire NITRO+ RX 7900 XTX Vapor-X

Сравнение NVIDIA Tesla T4 с 16 Гб GDDR6 и 2 560 ядрами против Sapphire NITRO+ RX 7900 XTX Vapor-X с 24 Гб GDDR6 и 6 144 ядрами.

Загружаемся...

Оценка производительности

Sapphire NITRO+ RX 7900 XTX Vapor-X опережает NVIDIA Tesla T4 на 335,25% в суммарном рейтинге производительности GPU ARK

A100 A100
H200 H200
MI325X MI325X

NVIDIA Tesla T4

6,4

NVIDIA Tesla T4

6,4
RX 7900 XTX RX 7900 XTX
MI250 MI250
Instinct MI300X Instinct MI300X

Sapphire NITRO+ RX 7900 XTX Vapor-X

28,0

Sapphire NITRO+ RX 7900 XTX Vapor-X

28,0

Содержание:

Память ML-производительность Вычислительная мощность Архитектура и совместимость Программная поддержка ML Частоты и производительность Энергопотребление Рендеринг Бенчмарки Дополнительно

Память

Объем памяти

16 GB
🔥 +50% 24 ГБ

Тип памяти

GDDR6 GDDR6

Пропускная способность памяти

320.0 GB/s 960.0 GB/s

Ширина шины памяти

256 бит 384 бит

ML-производительность

FP16 (half)

65,13 TFLOPS
🔥 +102% 131,7 TFLOPS

BF16

Нет Нет

TF32

Нет Нет

Вычислительная мощность

FP32 (float)

8,141 TFLOPS
🔥 +709% 65,86 TFLOPS

FP64 (double)

0,2544 TFLOPS
🔥 +709% 2,058 TFLOPS

CUDA ядра

2 560
🔥 +140% 6 144

RT ядра

40
🔥 +140% 96

Архитектура и совместимость

Архитектура GPU

Turing RDNA 3.0

SM (Streaming Multiprocessor)

40 Нет

PCIe версия

PCIe 3.0 x16 PCIe 4.0 x16

Программная поддержка ML

CUDA версия

7.5 Нет

Частоты и производительность

Base Clock

585
🔥 +262% 2 119

Boost Clock

1 590
🔥 +69% 2 680

Memory Clock

1 250
🔥 +100% 2 500

Энергопотребление

Рекомендуемый БП

🔥 -69% 250 W
800 W

Разъём питания

None 3x 8-pin

TDP/TGP

🔥 -83% 70 W
420 W

Рендеринг

Текстурные блоки (TMU)

160
🔥 +140% 384

ROP

40
🔥 +140% 96

L2 Cache

4 MB
🔥 +50% 6 MB

Бенчмарки

LLM Perf, Llama-2-7b-hf (bnb)

8.55 tokens/s

LLM Perf, Llama-2-7b-hf (gptq)

33.6 tokens/s

LLM Perf, Llama-2-7b-hf (unquantized)

16.7 tokens/s

LLM Perf, Llama-3.1-8B-Instruct (awq)

22.0 tokens/s

LLM Perf, Llama-3.1-8B-Instruct (bnb)

7.68 tokens/s

LLM Perf, Llama-3.1-8B-Instruct (gptq)

28.8 tokens/s

LLM Perf, Meta-Llama-3-8B (awq)

22.4 tokens/s

LLM Perf, Meta-Llama-3-8B (bnb)

7.96 tokens/s

LLM Perf, Meta-Llama-3-8B (gptq)

28.8 tokens/s

LLM Perf, Meta-Llama-3-8B-Instruct (awq)

22.3 tokens/s

LLM Perf, Meta-Llama-3-8B-Instruct (bnb)

7.76 tokens/s

LLM Perf, Meta-Llama-3-8B-Instruct (gptq)

29.1 tokens/s

llama.cpp, llama-2-7b-Q4_0

46.4 tokens/s

LLM Perf, Mistral-7B-Instruct-v0.2 (gptq)

26.4 tokens/s

LLM Perf, Mistral-7B-v0.1 (bnb)

8.01 tokens/s

LLM Perf, Mistral-7B-v0.1 (gptq)

25.7 tokens/s

LLM Perf, Mistral-7B-v0.1 (unquantized)

15.5 tokens/s

Дополнительно

Слоты

Single-slot Quad-slot

Дата выпуска

13 сентября 2018 г. 3 ноября 2022 г.

Дисплейные порты

No outputs
1x HDMI 2.1a
2x DisplayPort 2.1
1x USB Type-C

2x HDMI 2.1a
2x DisplayPort 2.1

Арендовать дешевле, чем покупать