Hạ tầng AI mới của FPT AI Factory sử dụng NVIDIA HGX B300 với 8 card GPU NVIDIA Blackwell Ultra. Mỗi GPU sở hữu bộ nhớ 288 GB, mang lại tổng dung lượng lên tới 2.1 TB mỗi node, cho phép triển khai các mô hình hàng nghìn tỷ tham số, AI đa phương thức và các ứng dụng xử lý ngữ cảnh dài với hiệu quả cao hơn.
So với thế hệ NVIDIA Blackwell trước đó, NVIDIA HGX B300 mang lại hiệu năng cao hơn tới 1.5 lần, giúp tăng tốc cả huấn luyện lẫn suy luận AI. Nhờ đó, doanh nghiệp có thể rút ngắn thời gian triển khai mô hình, phục vụ nhiều người dùng hơn và tối ưu chi phí vận hành. Nền tảng có thể giúp giảm tới 66% chi phí suy luận AI, giảm 49% chi phí huấn luyện và cải thiện gần 3 lần hiệu quả chi phí trên mỗi token. Bên cạnh hiệu năng, hệ thống cũng được xây dựng với tiêu chuẩn bảo mật doanh nghiệp, độ ổn định cao và đội ngũ kỹ sư hỗ trợ chuyên sâu.
