Nửa năm qua, các chatbot như ChatGPT trở nên nổi tiếng nhờ khả năng viết bài luận phức tạp, trò chuyện như con người, vượt qua bài thi dành cho sinh viên... Đằng sau đó là mô hình ngôn ngữ lớn (LLM) được huấn luyện bởi lượng dữ liệu khổng lồ.
Logo Google AI hiển thị trên smartphone. Ảnh: SOPA Image
C4, hay Colossal Clean Crawled Corpus, là bộ dữ liệu như vậy, được Google tập hợp từ hơn 15 triệu website trên toàn cầu và đang được dùng cho các mô hình ngôn ngữ lớn của Google lẫn LLaMA của Meta.
Theo Google, C4 được làm sạch, tức không còn chứa nội dung độc hại, ngôn ngữ xúc phạm hoặc phân biệt chủng tộc. Tuy nhiên, theo Washington Post, sự "sạch sẽ" của bộ dữ liệu này chỉ là bề ngoài. Phân tích cho thấy C4 có mặt của hơn 1.000 website theo chủ nghĩa dân tộc da trắng, hay Bookzz - kho lưu trữ sách điện tử vi phạm bản quyền khổng lồ, từng bị FBI đánh sập năm 2022.
Google chưa bình luận về thông tin trên.
C4 không phải bộ dữ liệu duy nhất tiềm ẩn nội dung độc hại. Một số thậm chí không có quy trình làm sạch như của Google. Công ty Stability AI, có trụ sở tại London, tuần trước phát hành LLM riêng với tên gọi StableLM. Theo công bố, StableLM được đào tạo trên Pile với dung lượng 850 GB. Phía sau bộ dữ liệu này là EleutherAI, đơn vị tự mô tả là "phòng nghiên cứu AI phi lợi nhuận".
Theo Guardian, EleutherAI từng gây tranh cãi khi thừa nhận dữ liệu Pile được tập hợp từ mọi ngóc ngách trên Internet, trong đó có 100 GB sách điện tử lấy từ website vi phạm bản quyền Bibliotik, 100 GB mã nguồn từ Github và 228 GB nội dung website trên toàn cầu từ 2008. Tất cả đều không có sự đồng ý của tác giả đứng sau.
Stability AI cho biết Pile "đem lại cho StableLM hiệu suất cao đáng ngạc nhiên trong các tác vụ và viết mã". Công ty sử dụng dữ liệu mã nguồn mở nhằm "thúc đẩy tính minh bạch và củng cố niềm tin", nhưng không bình luận về vấn đề vi phạm bản quyền của Pile.
Michael Wooldridge, giáo sư khoa học máy tính tại Đại học Oxford, cho rằng mô hình LLM đứng sau ChatGPT của OpenAI hay Bard của Google vẫn đang tiếp tục thu thập lượng dữ liệu khổng lồ. "Nó gồm mọi thứ trên Internet, mọi liên kết ở mọi website. Trong lượng dữ liệu không thể tưởng tượng đó có lẽ có thông tin của bạn và tôi. Chúng cũng không lưu trữ một chỗ, mà tỏa trên mạng lưới thần kinh khổng lồ và khó xác định", Wooldridge nói.
Theo ông, dữ liệu độc hại và vi phạm bản quyền sẽ là hai vấn đề có khả năng trở thành "cơn bão sắp diễn ra" đối với các công ty AI. "Sẽ có nhiều trận chiến pháp lý thời gian tới", ông dự đoán.
(theo Washington Post, Guardian)
