Theo lời kể của Louis - một nhân viên bảo vệ da màu, bà rất phấn khích vào tháng 2/2021 khi chủ nhà đồng ý cho thuê một căn hộ ở Massachusetts với giá rẻ. Khi đến xem, công ty quản lý bất động sản nói bà sẽ không gặp vấn đề gì và đơn đề nghị cho thuê sẽ sớm được chấp nhận. Dù có điểm tín dụng thấp và một số khoản nợ thẻ tín dụng, bà được các chủ cũ đánh giá tốt vì luôn trả tiền thuê đúng hạn trong 17 năm.
Một ngôi nhà tại Mỹ đang dán biển cho thuê. Ảnh: Domain
Louis cũng được cấp chứng từ dành cho người thuê nhà có thu nhập thấp, đảm bảo công ty quản lý sẽ nhận được ít nhất một phần tiền thuê nhà hàng tháng do chính phủ chi trả. Con trai bà, được nêu trong chứng từ, có điểm tín dụng cao, cho thấy anh có thể hỗ trợ thanh toán nếu bị trễ.
Thế nhưng, vào tháng 5/2021, công ty quản lý gửi email cho Louis: "Dịch vụ bên thứ ba đã sàng lọc và từ chối quyền thuê nhà của bạn. Thật không may, điểm số SafeRent dành cho bạn thấp hơn mức cho phép theo tiêu chuẩn của chúng tôi".
Chương trình máy tính SafeRent "chấm" Louis dưới 443 điểm - mức tối thiểu để thuê nhà. Không có giải thích nào thêm sau thông báo trên và bà phải tìm một căn hộ đắt tiền hơn.
SafeRent áp dụng thuật toán AI cho các đơn xin thuê nhà, trong đó tính đến lịch sử tín dụng, hồ sơ phá sản, tài khoản quá hạn, hiệu suất thanh toán và lịch sử trục xuất. Thuật toán sẽ đánh giá nguy cơ từ người nộp đơn, nhưng không tính đến lợi ích của phiếu tín dụng nhà ở - vốn dành cho người thuê nhà có thu nhập thấp.
Louis không phải là người duy nhất. Monica Douglas ở cùng bang cũng không thể thuê nhà do phần mềm đánh giá bà không đủ điều kiện, buộc phải tìm đến những ngôi nhà xa chỗ làm việc.
Thấy sự vô lý của các phần mềm xếp hạng như SafeRent, cả hai tập hợp hơn 400 người có hoàn cảnh tương tự trên khắp nước Mỹ. Đầu 2022, họ gửi đơn kiện tập thể lên bang Massachusetts, cáo buộc SafeRent Solutions, công ty đứng sau SafeRent, sử dụng phần mềm chứa thuật toán vi phạm luật chống phân biệt đối xử của liên bang, gồm chấm điểm thấp hơn với người da màu, người có thu nhập thấp, dựa trên điểm tín dụng tài chính mà không xét đến quá trình thuê và khả năng trả tiền thuê.
"Tín dụng của tôi không tốt. Nhưng AI không hiểu toàn bộ. Nó biết tôi chậm thanh toán thẻ tín dụng nhưng không biết tôi luôn trả tiền thuê nhà đầy đủ", bà Louis nói với Guardian.
Ngày 12/12, tòa án tuyên bố SafeRent Solutions phải bồi thường cho nguyên đơn 2,3 triệu USD, ngừng sử dụng hệ thống chấm điểm AI hoặc phải cho thuê nhà nếu người đó có phiếu tín dụng nhà ở trong 5 năm.
Phía SafeRent Solutions nói sẽ tuân thủ lệnh tòa án và thay đổi sản phẩm cốt lõi của mình, nhưng không thừa nhận hành vi "xử ép". "Chúng tôi tin chức năng chấm điểm vẫn tuân thủ luật hiện hành, nhưng việc kháng cáo mất nhiều thời gian và tốn kém", Yazmin Lopez, người phát ngôn của công ty, nói.
Theo AP, các vụ kiện như với SafeRent tương đối mới, nhưng việc sử dụng thuật toán hoặc chương trình AI để sàng lọc, chấm điểm người Mỹ không xa lạ. Trong nhiều năm, AI âm thầm giúp đưa ra những quyết định quan trọng liên quan tới người dân. Khi một người nộp đơn xin việc, xin vay mua nhà hoặc thậm chí tìm kiếm dịch vụ chăm sóc y tế, có khả năng một hệ thống hoặc thuật toán AI nào đó đang đánh giá họ. Phần lớn diễn ra tự động, dù một số được phát hiện có sự phân biệt đối xử.
Theo báo cáo về tác hại của AI do luật sư Kevin de Liban, thành viên tổ chức Legal Aid Society, thực hiện, nhiều trong số 92 triệu người thu nhập thấp ở Mỹ từng "được" AI ra quyết định liên quan tới việc làm, nhà ở, thuốc men, trường học hoặc trợ cấp của chính phủ,
"Không nên để các hệ thống AI ra quyết định. Nó chỉ nên đưa ra nhiều giả định khác nhau để con người lựa chọn", Liban nói, đồng thời nhắc đến việc AI đang sử dụng "khoa học thống kê rác" để tạo các quyết định "vô lý".
Một khảo sát do Consumer Reports thực hiện được công bố vào tháng 7 cho thấy phần lớn người Mỹ "không thoải mái" khi AI và công nghệ ra quyết định đối với các vấn đề quan trọng như nhà ở, việc làm và chăm sóc sức khỏe. Hầu hết nói "bất an" vì không biết AI đang sử dụng thông tin nào để đánh giá họ.
Các nhà lập pháp tại nhiều bang của Mỹ từng có một số đề xuất nhằm kiểm soát công cụ AI dạng này, nhưng phần lớn không thay đổi. Tuy nhiên, theo Newsone, chiến thắng của Louis và 400 người trong vụ kiện SafeRent đang tạo tiền lệ cho trách nhiệm giải trình của AI trong tương lai, cũng như các điều luật mới để kiểm soát chúng.
