Anh Chad Olson, một cư dân tại Minneapolis, đã trải qua một phen hú vía khi đang trên đường từ công sở về nhà. Trợ lý AI Gemini bất ngờ thông báo anh có một buổi lập kế hoạch họp mặt gia đình trong lịch trình.
Khi Olson nhờ tóm tắt email, Gemini dồn dập đưa ra thông tin về một người phụ nữ tên Priscilla yêu cầu anh mua rượu Captain Morgan và whiskey Fireball, cùng một người tên Shirley muốn ăn kem Klondike. Điều đáng nói là Olson chẳng quen biết ai trong số họ.
"Dường như có rất nhiều người đang liên hệ để yêu cầu những thứ khác nhau đấy!", Gemini hào hứng nhận xét với "chủ nhân".
Cứ ngỡ đây là một vụ rò rỉ dữ liệu nghiêm trọng khi Gemini trích dẫn một địa chỉ email lạ hoắc, nhưng sự thật đằng sau còn trớ trêu hơn. Theo cuộc điều tra nội bộ từ Google được chia sẻ với tờ The Wall Street Journal (WSJ), toàn bộ câu chuyện về Priscilla, Shirley hay những chai rượu mạnh đều là sản phẩm của sự "ảo giác" (hallucinations).
Google khẳng định Gemini ít ảo giác hơn các mô hình khác và họ đang nỗ lực cải thiện, nhưng thực tế này đã gióng lên hồi chuông cảnh báo về sự tin tưởng mù quáng vào công nghệ.
Khi "gần đúng" lại nguy hiểm hơn "sai hoàn toàn"
Khi các công cụ AI trở nên mạnh mẽ và tinh tế hơn, hàng triệu người đã coi chúng là trợ lý đắc lực không thể thiếu trong công việc và đời sống. Chúng ta đã đi một quãng đường dài kể từ thời AI của Google khuyên người dùng... ăn đá hay cho thêm keo dán vào pizza. Chính vì AI ngày càng thông minh, người dùng bắt đầu nảy sinh tâm lý chủ quan.
Pratik Verma, nhà sáng lập kiêm CEO của Okahu, đơn vị chuyên tối ưu hóa sử dụng AI, đã chỉ ra một nghịch lý chết người: Những hệ thống AI càng chính xác lại càng dễ đánh lừa người dùng bằng những thông tin sai lệch lẻ tẻ.
"Khi một thứ gì đó luôn luôn sai, điểm tốt là bạn biết mình không nên tin nó. Nhưng khi mọi thứ hầu như luôn đúng nhưng đôi khi lại sai, đó mới là điều nguy hại nhất", ông Verma nhận định. Ông cũng cho biết các mô hình được huấn luyện để đưa ra câu trả lời ngay cả khi chúng chỉ đang đoán mò, và sẽ lặp lại sai lầm nếu con người không chỉnh sửa kịp thời.
Một nghiên cứu từ Đại học Pennsylvania công bố vào tháng 2 vừa qua đã gọi tên hiện tượng này là "đầu hàng nhận thức" (cognitive surrender). Đây là xu hướng con người chấp nhận thông tin do AI tạo ra bất kể tính xác thực của chúng.
Tình trạng này đặc biệt dễ xảy ra khi con người chịu áp lực về thời gian, đối mặt với các tác vụ phức tạp hoặc thiếu kiến thức chuyên môn về vấn đề đang hỏi.
Cô Vanessa Culver, một chuyên gia trong ngành thanh toán trực tuyến, là nạn nhân điển hình của sự phụ thuộc này. Khi cô nhờ Claude thêm từ khóa vào hồ sơ năng lực (résumé), chatbot này đã tự ý thay đổi tên trường đại học của cô từ City University of Seattle thành University of Washington, xóa bỏ bằng thạc sĩ và thay đổi toàn bộ mốc thời gian làm việc.
"Làm việc trong ngành công nghệ, bạn phải đón nhận nó, nhưng rốt cuộc, chúng ta có thể tin tưởng được bao nhiêu?", cô Culver đặt câu hỏi đầy hoài nghi.
Mối lo ngại không dừng lại ở những dòng văn bản sai lệch. Cơn sốt "AI Agent", những trợ lý có khả năng tự đưa ra quyết định và thao tác trên tài khoản người dùng, đang đẩy rủi ro lên một tầm cao mới.
Cô Summer Yue, nhà nghiên cứu an toàn AI tại Meta, từng khiến mạng xã hội X xôn xao khi đăng tải ảnh chụp màn hình cho thấy công cụ OpenClaw đã phớt lờ chỉ dẫn và tự ý xóa sạch hộp thư đến của cô.
Tương tự, Vidya Narayanan, đồng sáng lập FinalLayer, cũng từng chứng kiến một agent tự ý xóa sạch một thư mục quan trọng trong kho lưu trữ mã nguồn của cô mà không hề xin phép.
CEO Anish Agarwal của startup Traversal thì ví von các agent viết mã nguồn giống như những chiếc xe hơi được thiết kế tốt nhưng vẫn có thể gây tai nạn khi đối mặt với giao thông thực tế. Hệ thống có thể hoàn hảo về mặt logic, nhưng sẽ sụp đổ khi tương tác với các hệ thống khác theo những cách không thể lường trước.
Việc liên tục phải kiểm tra và xác nhận đầu ra của AI tạo ra một thứ gọi là "chi phí nhận thức" (cognitive overhead), vô hình trung làm giảm đi giá trị cốt lõi của công nghệ là sự tiện lợi.
Trở lại với câu chuyện của Olson, sau khi Gemini thừa nhận đã "vẽ" ra một kịch bản xâm phạm quyền riêng tư không có thật, anh đã rút ra bài học đắt giá. Từ một người dùng tin tưởng hoàn toàn, anh chuyển sang trạng thái cảnh giác cao độ.
"Nó khiến tôi phải dừng lại một chút thay vì tin tưởng 100%. Giờ đây tôi đang ở giai đoạn: tin tưởng nhưng phải xác thực", anh Olson chia sẻ.
Trong cuộc đua tích hợp AI vào mọi ngõ ngách của công việc, có lẽ lời khuyên tốt nhất cho những người trẻ khởi nghiệp và giới văn phòng hiện nay không phải là từ bỏ công nghệ, mà là giữ vững "bộ lọc" của chính mình. AI có thể là một người cộng sự xuất sắc, nhưng nó chưa bao giờ là một người thay thế hoàn hảo cho sự tỉnh táo của con người.
*Nguồn: WSJ, BI
