Một lãnh đạo cấp cao của Meta vừa lên tiếng bác bỏ tin đồn cho rằng công ty đã điều chỉnh các mô hình trí tuệ nhân tạo (AI) mới để đạt điểm cao bất thường trong các bài đánh giá chuẩn (benchmark), đồng thời che giấu các điểm yếu thực sự của mô hình.
Ahmad Al-Dahle, Phó Chủ tịch phụ trách mảng AI tạo sinh (generative AI) tại Meta, viết trên nền tảng X rằng việc Meta huấn luyện các mô hình Llama 4 Maverick và Llama 4 Scout bằng các bộ dữ liệu kiểm tra (test set) là “hoàn toàn không đúng sự thật”.
Meta bị nghi “thổi phồng” kết quả thử nghiệm AI Llama 4. (Ảnh: Reuters)
Trong lĩnh vực AI, test set là tập dữ liệu dùng để đánh giá hiệu suất của mô hình sau khi huấn luyện. Nếu mô hình được huấn luyện trên chính bộ dữ liệu này, điểm số benchmark sẽ bị bóp méo, khiến mô hình có vẻ như hoạt động tốt hơn thực tế.
Cuối tuần qua, tin đồn chưa được xác thực về việc Meta gian lận điểm benchmark của các mô hình mới bắt đầu lan truyền trên X và Reddit. Nguồn gốc của tin đồn được cho là bắt nguồn từ một bài đăng trên mạng xã hội Trung Quốc, bởi một người dùng tự nhận là cựu nhân viên Meta đã nghỉ việc để phản đối cách công ty thực hiện các bài đánh giá mô hình.
Bảng đánh giá Llama 4 của Meta cung cấp.
Một số báo cáo cho thấy Llama 4 Maverick và Scout hoạt động kém hiệu quả trong một số tác vụ nhất định, góp phần làm dấy lên nghi ngờ. Việc Meta sử dụng một phiên bản thử nghiệm, chưa công bố rộng rãi của Maverick để đạt điểm số cao hơn trên benchmark LM Arena cũng làm tin đồn thêm phần lan rộng. Một số nhà nghiên cứu trên X cho biết họ quan sát thấy sự khác biệt rõ rệt giữa phiên bản Maverick có thể tải về công khai và phiên bản được Meta triển khai trên LM Arena.
Al-Dahle thừa nhận rằng một số người dùng đang gặp phải chất lượng không đồng đều khi sử dụng Maverick và Scout thông qua các nhà cung cấp đám mây khác nhau.
“Kể từ khi chúng tôi phát hành các mô hình ngay khi hoàn tất, sẽ mất vài ngày để các phiên bản công khai được điều chỉnh tối ưu,” ông viết. “Chúng tôi sẽ tiếp tục xử lý lỗi và hỗ trợ các đối tác tích hợp.”
