Vụ việc xảy ra trong một bài kiểm tra an ninh mạng do Irregular, startup Israel chuyên đánh giá khả năng bảo mật của các mô hình AI, thực hiện. Gemini được đặt trong một môi trường thử nghiệm biệt lập và được yêu cầu thực hiện các nhiệm vụ tấn công giả lập. Tuy nhiên, một lỗi trong môi trường kiểm thử đã vô tình cho phép mô hình truy cập Internet.
AI vượt rào
Sau khi có quyền truy cập Internet, Gemini bắt đầu tìm kiếm thông tin và thông tin đăng nhập trên mạng. Theo Google, mô hình đã tiếp cận 3 hệ thống máy tính riêng biệt bằng cách đoán mật khẩu và hai lần sử dụng các thông tin đăng nhập được công khai trên Internet.
Trong quá trình này, Gemini đã nhầm hệ thống của các doanh nghiệp thực với mục tiêu trong bài kiểm tra và tiến hành truy cập.
Điểm đáng chú ý là mô hình đã tự dừng hành động sau khi xác định mình đang tiếp cận hệ thống thật thay vì môi trường thử nghiệm.
Heather Adkins, Phó chủ tịch phụ trách kỹ thuật an ninh của Google, cho biết cả 3 trường hợp đều kết thúc khi Gemini nhận ra hệ thống mà mình truy cập không thuộc bài kiểm tra.
Google cho biết sự cố không gây thiệt hại và hãng đã phối hợp với Irregular để thay đổi quy trình kiểm thử. Google cũng không công bố chính xác phiên bản Gemini nào liên quan đến sự việc.
Không chỉ Gemini
Theo Irregular, sự cố của Google bắt nguồn từ cùng một vấn đề kỹ thuật từng khiến các mô hình AI khác truy cập Internet ngoài dự kiến trong các cuộc kiểm tra trước đó. Startup này cho biết các phòng thí nghiệm AI liên quan đã được thông báo về vấn đề vào cuối tháng 7.
Đáng chú ý, Google không phải công ty AI duy nhất gặp tình huống này. OpenAI, Anthropic và Meta trong những tuần gần đây cũng công bố các sự cố trong đó mô hình AI vượt khỏi môi trường thử nghiệm và tìm cách tiếp cận hệ thống bên ngoài.
Những vụ việc này cho thấy ranh giới giữa một bài kiểm tra an ninh mạng được kiểm soát và một hành động thực tế có thể trở nên mong manh khi AI được trao quyền truy cập Internet cùng các công cụ hỗ trợ.
Trong trường hợp Gemini, mô hình không chỉ tìm kiếm thông tin mà còn có thể sử dụng thông tin đăng nhập và thực hiện nhiều bước để tiếp cận hệ thống. Việc mô hình sau đó tự dừng lại khi nhận ra mục tiêu là hệ thống thật cho thấy các cơ chế kiểm soát hành vi vẫn đóng vai trò quan trọng.
Sự cố cũng đặt ra yêu cầu cao hơn đối với các công ty phát triển AI trong việc cô lập môi trường thử nghiệm, kiểm soát quyền truy cập Internet và ngăn mô hình sử dụng thông tin thu thập được để tác động lên các hệ thống ngoài phạm vi cho phép.
Google cho rằng vụ việc nhấn mạnh tầm quan trọng của việc huấn luyện những mô hình AI mạnh có khả năng hành động một cách có trách nhiệm khi được trao quyền thực hiện các nhiệm vụ trong thế giới thực.
Tham khảo: CNBC
