NVIDIA H100 PCIe 80 GB

NVIDIA H100 PCIe 80 GB — 80 Гб HBM2e, 14,592 ядер

Loading...

Performance Rating

The H100 PCIe 80 GB was a professional graphics card by NVIDIA, launched in October 2022. Built on the 5 nm process, and based on the GH100 graphics processor, the card does not support DirectX. Since H100 PCIe 80 GB does not support DirectX 11 or DirectX 12, it might not be able to run all the latest games. The GH100 graphics processor is a large chip with a die area of 814 mm² and 80,000 million transistors. Unlike the fully unlocked H100 NVL 94 GB, which uses the same GPU but has all 16896 shaders enabled, NVIDIA has disabled some shading units on the H100 PCIe 80 GB to reach the product's target shader count. It features 14592 shading units, 456 texture mapping units, and 24 ROPs. Also included are 456 tensor cores which help improve the speed of machine learning applications. NVIDIA has paired 80 GB HBM2e memory with the H100 PCIe 80 GB, which are connected using a 5120-bit memory interface. The GPU is operating at a frequency of 1095 MHz, which can be boosted up to 1755 MHz, memory is running at 1593 MHz.

H200 H200
MI325X MI325X
A100 A100

NVIDIA H100 PCIe 80 GB

NVIDIA H100 PCIe 80 GB

Memory

Memory Size

80 GB

Memory Type

Memory Bandwidth

2.04 TB/s

Memory Bus Width

5,120 бит

ML Performance

FP16 (Half Precision)

204.9 TFLOPS
1.1904 TFLOPS
(Intel UHD Graphics 730)

BF16 (Brain Float)

No TFLOPS
311.84 TFLOPS
(NVIDIA A800 SXM4 80 GB)

TF32 (TensorFloat)

Compute Power

FP32 (Single Precision)

51.22 TFLOPS

FP64 (Double Precision)

25.61 TFLOPS
1.2038 TFLOPS
(AMD Radeon RX 7900M)

CUDA Cores

Architecture & Compatibility

GPU Architecture

Hopper

SM (Streaming Multiprocessor)

PCIe Version

PCIe 5.0 x16

ML Software Support

CUDA Version

Clocks & Performance

Base Clock

Boost Clock

Memory Clock

Power Consumption

TDP/TGP

350 W
unknown
(NVIDIA CMP 70HX)

Recommended PSU

Power Connector

1x 16-pin

Rendering

Texture Units (TMU)

Benchmarks

MLPerf, llama2-70b-99.9 (fp8)

1 222 tokens/s
2 444 tokens/s
(NVIDIA H200 SXM 141 GB)

MLPerf, mixtral-8x7b (fp8)

3 466 tokens/s
7 132 tokens/s
(NVIDIA H200 SXM 141 GB)

Additional

Slots

Dual-slot
SXM Module
(NVIDIA H200 SXM 141 GB)

Release Date

Oct. 13, 2022

Display Outputs

No outputs
4x mini-DisplayPort 2.0
4x HDMI 2.1
(SPARKLE Arc A310 OmniView)

FAQ

Для каких задач подходит NVIDIA H100 PCIe 80 GB?

NVIDIA H100 PCIe 80 GB предназначена для высокопроизводительных вычислений, машинного обучения, искусственного интеллекта и научных исследований. Она отлично подходит для задач с большим объемом данных и высокой требовательностью к вычислительной мощности, таких как тренировка глубоких нейронных сетей, симуляции и рендеринг высокого качества.

С какими конкурентами сравнить и чем отличается эта видеокарта?

NVIDIA H100 PCIe 80 GB можно сравнить с аналогичными продуктами от AMD и NVIDIA. Например, NVIDIA A100 PCIe 80GB или AMD Instinct MI250X. H100 отличается более современной архитектурой Hopper, что позволяет ему обеспечивать лучшую производительность в некоторых сценариях, особенно при работе с новыми алгоритмами машинного обучения и искусственного интеллекта.

Достаточно ли питания/охлаждения для этой карты?

Для NVIDIA H100 PCIe 80 GB требуется значительное питание и охлаждение. Рекомендуется использовать блок питания с выходным током не менее 750 Вт, так как TDP составляет 350 Вт. Охлаждение также должно быть эффективным, чтобы поддерживать стабильную работу видеокарты при высоких нагрузках. Использование жидкостного охлаждения может быть предпочтительнее для максимальной производительности.

Стоит ли брать эту карту в 2025-2026 году?

В 2025-2026 годах NVIDIA H100 PCIe 80 GB будет актуальной для специалистов в области машинного обучения, искусственного интеллекта и науки. Однако стоит учитывать, что новые поколения видеокарт могут быть представлены с более передовыми характеристиками и ценами. Поэтому рекомендуется внимательно изучить рынок и оценить, соответствует ли данная видеокарта вашим текущим и будущим потребностям.

Recommendations

Эта видеокарта идеально подходит для обработки больших объемов данных, машинного обучения и искусственного интеллекта благодаря огромной памяти и высокой пропускной способности. Также она хорошо справляется с вычислительными задачами в науке и исследованиях.

Renting is cheaper than buying