Các nhà nghiên cứu tại Google Research công bố TurboQuant, thuật toán nén bộ nhớ siêu hiệu quả dành cho AI. Giới công nghệ nhanh chóng gọi đây là "Pied Piper", tên startup với thuật toán nén thần kỳ trong bộ phim truyền hình nổi tiếng Silicon Valley.
Thuật toán của Google được nhận định sẽ giải quyết nút thắt cổ chai của trí tuệ nhân tạo. Hiện điểm yếu của các mô hình ngôn ngữ lớn là tiêu tốn quá nhiều bộ nhớ RAM. Để xử lý dữ liệu, AI cần KV cache (bộ nhớ đệm khóa - giá trị). Khi dữ liệu càng phức tạp, KV cache càng lớn dẫn đến nghẽn hiệu năng và tốn kém chi phí vận hành.
