Sản phẩm được công bố ngày 13/11 và dự kiến ra thị trường vào quý II/2024. Theo Nvidia, sự ra đời của H200 sẽ tạo ra những bước nhảy vọt về hiệu suất, trong đó hãng nhấn mạnh đến khả năng suy luận của các mô hình AI dữ liệu lớn.
Thử nghiệm với mô hình ngôn ngữ lớn Llama 2 của Meta với 70 tỷ tham số, H200 mang đến hiệu suất gần gấp đôi so với H100 - chip AI thuộc hàng mạnh mẽ nhất hiện nay và được sử dụng phổ biến trong các ứng dụng AI tạo sinh thời gian qua, bao gồm cả GPT-4 của OpenAI.
Nhà sản xuất không công bố nhiều thông tin về dòng GPU mới, nhưng cho biết chúng đã được cải tiến đáng kể về dung lượng bộ nhớ và băng thông. Sản phẩm vẫn được xây dựng trên kiến trúc Hopper giống bản tiền nhiệm. Tuy nhiên, H200 sử dụng bộ nhớ HBM3e dung lượng 141 GB, băng thông 4,8 TB/s, so với H100 dùng bộ nhớ HBM3 80 GB và băng thông 3,35 TB/s.
HGX H200 sử dụng tám GPU H200. Ảnh: Nvidia
Mẫu chip mới sẽ được trang bị trong các bo mạch Nvidia HGX với cấu hình gồm bốn hoặc tám GPU. Ngoài ra, hãng cung cấp "siêu chip" GH200, kết hợp giữa H200 và CPU Grace với tổng cộng 624GB bộ nhớ. Với cấu hình sử dụng tám GPU, HGX H200 có khả năng tính toán 32 petaflop (triệu tỷ phép tính mỗi giây). Một điểm đặc biệt của H200 là tương thích với các hệ thống H100 trước đây, giúp các hệ thống hiện tại có thể dễ dàng nâng cấp.
Với thông số này, Nvidia cho biết H200 sẽ cải thiện khả năng năng làm việc của các hệ thống AI tạo sinh cũng như các hệ thống điện toán hiệu năng cao (HPC) và có thể giúp "giải quyết một số thách thức quan trọng nhất với thế giới". "Để tạo ra trí thông minh bằng AI và HPC, lượng dữ liệu khổng lồ phải được xử lý hiệu quả ở tốc độ cao với các GPU có bộ nhớ lớn và nhanh", Ian Buck, Phó chủ tịch Nvidia, nói.
Amazon Web Services, Google Cloud, Microsoft Azure và Oracle sẽ là những nền tảng điện toán đám mây đầu tiên trang bị H200 khi sản phẩm ra thị trường năm sau. Theo Tomshardware, "siêu chip" GH200 có thể sẽ được trang bị đầu tiên trên siêu máy tính Venado của Phòng thí nghiệm quốc gia Los Alamos (Mỹ), hoặc siêu máy tính Alps (Thụy Sĩ).
Nvidia chưa công bố giá của H200, nhưng mẫu chip tiền nhiệm H100 đình đám hiện nay được các công ty AI săn lùng ở mức giá 25.000-40.000 USD.
