Một công bố nghiên cứu của Google về thuật toán nén bộ nhớ AI đã nhanh chóng gây chấn động thị trường bán dẫn. Nhưng song song với phản ứng từ Phố Wall, một diễn biến khác cũng khiến cộng đồng công nghệ chú ý: chỉ trong vòng 7 ngày, một lập trình viên độc lập đã tái tạo lại gần như toàn bộ thuật toán này từ chính bản nghiên cứu – không cần mã nguồn gốc.
Thuật toán được nhắc đến là TurboQuant, do Google Research công bố, nhằm giải quyết một trong những nút thắt lớn nhất của AI hiện nay: bộ nhớ. Trong các mô hình ngôn ngữ lớn, mỗi lần xử lý, hệ thống phải lưu trữ một lượng lớn dữ liệu tạm thời gọi là KV cache – thứ có thể chiếm hàng chục GB bộ nhớ, thậm chí nhiều hơn cả chính mô hình. TurboQuant được thiết kế để nén phần dữ liệu này từ 16-bit xuống chỉ còn khoảng 3-bit, giảm tới 6 lần dung lượng mà vẫn giữ nguyên độ chính xác trong nhiều bài kiểm tra.
