Các chatbot AI phổ biến thường không nhận diện được thông tin sức khỏe sai lệch khi chúng được diễn đạt bằng ngôn ngữ y khoa tự tin. Nghiên cứu trên The Lancet Digital Health tháng 1 chỉ ra AI thậm chí khuyên người dùng nhét tỏi vào trực tràng. Một nghiên cứu khác trên Nature Medicine tháng 2 kết luận chatbot không mang lại kết quả chẩn đoán tốt hơn một lượt tìm kiếm Internet thông thường.
Bác sĩ Mahmud Omar tại Trung tâm Y tế Mount Sinai (Mỹ) cảnh báo: "Vấn đề cốt lõi là các LLMs (mô hình ngôn ngữ lớn) không sai lầm theo cách của bác sĩ. Một bác sĩ khi không chắc chắn sẽ dừng lại hoặc yêu cầu làm thêm xét nghiệm. Còn LLMs đưa ra câu trả lời sai với sự tự tin y hệt như khi trả lời đúng".
