NVIDIA H200 NVL

NVIDIA H200 NVL — 141 Гб HBM3e, 16,896 ядер, GPI 63.6

Loading...

Performance Rating

The H200 NVL is a professional graphics card by NVIDIA, launched on November 18th, 2024. Built on the 5 nm process, and based on the GH100 graphics processor, the card does not support DirectX. Since H200 NVL does not support DirectX 11 or DirectX 12, it might not be able to run all the latest games. The GH100 graphics processor is a large chip with a die area of 814 mm² and 80,000 million transistors. It features 16896 shading units, 528 texture mapping units, and 24 ROPs. Also included are 528 tensor cores which help improve the speed of machine learning applications. NVIDIA has paired 141 GB HBM3e memory with the H200 NVL, which are connected using a 6144-bit memory interface. The GPU is operating at a frequency of 1365 MHz, which can be boosted up to 1785 MHz, memory is running at 1593 MHz.

H200 H200
MI325X MI325X
A100 A100

NVIDIA H200 NVL

63.6

NVIDIA H200 NVL

63.6

Memory

Memory Size

141 ГБ

Memory Type

Memory Bandwidth

4.89 TB/s

Memory Bus Width

6,144 бит

ML Performance

FP16 (Half Precision)

241.3 TFLOPS
998.4 TFLOPS
(Intel UHD Graphics 730)

BF16 (Brain Float)

No TFLOPS
311.84 TFLOPS
(NVIDIA A800 SXM4 80 GB)

TF32 (TensorFloat)

Compute Power

FP32 (Single Precision)

60.32 TFLOPS

FP64 (Double Precision)

30.16 TFLOPS
1,204,000.0 TFLOPS
(AMD Radeon RX 7900M)

CUDA Cores

Architecture & Compatibility

GPU Architecture

Hopper

SM (Streaming Multiprocessor)

PCIe Version

PCIe 5.0 x16

ML Software Support

CUDA Version

Clocks & Performance

Base Clock

Boost Clock

Memory Clock

Power Consumption

TDP/TGP

600 W
unknown
(NVIDIA CMP 70HX)

Recommended PSU

Power Connector

8-pin EPS

Rendering

Texture Units (TMU)

Benchmarks

MLPerf, llama2-70b-99.9 (fp4)

7 436 tokens/s

MLPerf, llama3.1-405b (fp4)

130.5 tokens/s

MLPerf, deepseek-r1 (fp4)

2 327 tokens/s

Additional

Slots

Dual-slot
SXM Module
(NVIDIA H200 SXM 141 GB)

Release Date

Nov. 18, 2024

Display Outputs

No outputs
4x mini-DisplayPort 2.0
4x HDMI 2.1
(SPARKLE Arc A310 OmniView)

FAQ

Для каких задач подходит NVIDIA H200 NVL?

NVIDIA H200 NVL предназначена для обработки больших объемов данных и сложных вычислений, таких как машинное обучение (ML), искусственный интеллект (AI), научные вычисления и рендеринг высокого качества. Она также может быть полезна для разработчиков и исследователей, работающих с большими наборами данных.

С какими конкурентами сравнить и чем отличается NVIDIA H200 NVL?

NVIDIA H200 NVL можно сравнить с конкурентными решениями от AMD, такими как Radeon Instinct MI250X или более недавними моделями NVIDIA, такими как A100. H200 NVL отличается более высокой пропускной способностью памяти и GPU Performance Index, что делает ее более эффективной для задач с большим объемом данных и высокими требованиями к производительности.

Достаточно ли питания и охлаждения для этой карты?

Для NVIDIA H200 NVL требуется значительное питание и мощное охлаждение. Она потребляет до 600 Вт, поэтому вам потребуется блок питания с высокой мощностью. Для охлаждения рекомендуется использовать систему с жидким охлаждением или мощную воздушную систему с несколькими вентиляторами. Убедитесь, что ваш корпус поддерживает такие решения и обеспечивает достаточное пространство для установки видеокарты.

Стоит ли брать эту карту в 2025-2026 году?

В 2025-2026 годах NVIDIA H200 NVL будет актуальной для организаций и исследовательских центров, которые требуют высокой производительности для обработки больших объемов данных. Однако стоит учитывать, что рынок быстро развивается, и новые модели могут появиться. Если вам необходима самая передовая технология сейчас, то H200 NVL будет отличным выбором. Если же вы ожидаете новых анонсов, возможно, стоит подождать и рассмотреть более новые модели.

Recommendations

Эта видеокарта идеально подходит для задач машинного обучения и искусственного интеллекта из-за большого объема памяти (141 ГБ HBM3e) и высокой пропускной способности (4.89 TB/s). Также она хорошо справляется с рендерингом сложных графических моделей благодаря мощной архитектуре Hopper и большому количеству ядер (16896).

Renting is cheaper than buying