NVIDIA kündigte HGX H200 an, eine neue Hardware-Computing-Plattform für künstliche Intelligenz, die auf der NVIDIA Hopper-Architektur mit H200 Tensor Core Grafikprozessor basiert.
NVIDIA HGX H200 bietet zum ersten Mal den Hochgeschwindigkeitsspeicher HBM3e. Der Beschleuniger verfügt über 141 GB Speicher mit einer Geschwindigkeit von 4,8 TB pro Sekunde. Das ist 2,4-mal schneller als der NVIDIA A100. Es wird erwartet, dass große Server- und Cloud-Anbieter den H200 ab dem zweiten Quartal 2024 in ihren Systemen einsetzen werden.
Neben der Hardware entwickelt NVIDIA auch die Software-Aspekte der KI und bietet zusammen mit dem neuen Beschleuniger die Open-Source-Bibliotheken TensorRT-LLM an.
Der H200-Beschleuniger kann zum Beispiel das Llama-2-Modell mit 70 Milliarden Parametern mit einer doppelt so hohen Geschwindigkeit wie der H100 bereitstellen. Es wird erwartet, dass neue Software die Leistung noch weiter steigern wird.
Der NVIDIA H200, der in Konfigurationen mit vier und acht Kanälen erhältlich ist, wird mit der HGX H100 Hardware und Software kompatibel sein. Er wird auch in Kombination mit NVIDIA Grace Prozessoren mit ultraschneller NVLink-C2C-Verbindung verwendet, um den GH200 Grace Hopper mit HBM3e zu bilden. Mit NVLink und NVSwitch ist der HGX H200 hervorragend für LLM-Training und umfangreiche Modellierung geeignet und bietet über 32 Petaflops FP8 Deep Learning und 1,1 TB Speicher.
Die Beschleuniger können in jedem Rechenzentrum eingesetzt werden, und Partner wie ASRock Rack, ASUS, Dell und andere können die vorhandenen Systeme mit dem H200 aufrüsten. Cloud-Anbieter wie AWS, Google Cloud, Microsoft Azure und Oracle werden im nächsten Jahr H200-basierte Stationen bereitstellen.
