Trong một bước tiến đáng chú ý của ngành trí tuệ nhân tạo (AI), đội ngũ nghiên cứu từ NVIDIA cùng các cộng tác viên tại đại học Stanford và Caltech đã chính thức công bố NitroGen - mô hình thống nhất từ thị giác đến hành động (vision-to-action) được thiết kế để chơi trò chơi điện tử trực tiếp từ các khung hình thô.
Hay nói cách khác, NitroGen là một hệ thống AI có thể chơi điện tử. Toàn bộ bộ dữ liệu, công cụ đánh giá, trọng số mô hình và mã nguồn đều được công khai trên Hugging Face .
Khác với các phương pháp huấn luyện truyền thống thường dựa vào hệ thống điểm thưởng, NitroGen được xây dựng dựa trên phương pháp học máy bắt chước quy mô lớn. Đội ngũ phát triển đã khai thác những thước phim chiếu gameplay đặc biệt để huấn luyện NitroGen: ngoài ghi lại cảnh vật và hành động của nhân vật trong game, những video này có thêm hình ảnh của một tay cầm chơi game, tại đây hiển thị thao tác của game thủ trong quá trình chơi.
Một video có "tay cầm ảo", giúp người xem biết người chơi đang bấm nút gì - Ảnh chụp màn hình.
Bằng kỹ thuật thị giác máy tính như SIFT và XFeat, hệ thống xác định chính xác vị trí của phiên bản “tay cầm ảo” này, lấy riêng phân vùng này để phân tích. Bằng mô hình phân đoạn SegFormer, họ đã trích xuất thành công các vị trí cần gạt và trạng thái nút bấm với độ chính xác cực cao để tạo thành bộ dữ liệu huấn luyện có nhãn.
Về mặt kỹ thuật, NitroGen thừa hưởng thành quả từ dự án robot GR00T của NVIDIA. Điều này giúp mô hình vượt xa khả năng của một bot chơi game thông thường, để tiến tới trở thành một tác nhân vạn năng (universal agent).
Tác nhân AI tự chơi game sau khi được huấn luyện thành công bằng video YouTube và Twitch - Video: NVIDIA.
Kết quả thực nghiệm cho thấy, khi đối mặt với những trò chơi hoàn toàn mới, chưa từng xuất hiện trong quá trình huấn luyện, NitroGen đạt tỷ lệ thành công cao hơn 52% so với các mô hình được đào tạo từ đầu. Khả năng này chứng minh rằng: việc mở rộng quy mô dữ liệu hình ảnh có thể tạo ra những năng lực đột biến tương tự như cách các mô hình ngôn ngữ lớn từng đạt được.
Hiện tại, NitroGen được tối ưu hóa tốt nhất cho các dòng game hành động, đua xe và đi bàn dạng 2D - những thể loại sử dụng bộ điều khiển tay cầm. Mặc dù NitroGen chưa chơi tốt được những dòng game “ưa” tay cầm và bàn phím như MOBA và RTS, sự ra đời của hệ thống AI này đã đặt nền móng quan trọng cho trí tuệ nhân tạo chơi game thế hệ mới và các hệ thống kiểm thử tự động.
NVIDIA đã quyết định công khai mã nguồn, trọng số mô hình và bộ dữ liệu để cộng đồng nghiên cứu có thể tiếp tục phát triển lĩnh vực tác nhân AI hóa đầy tiềm năng này.
