Bà Megan Garcia vừa đệ đơn kiện lên Tòa án liên bang Florida, cáo buộc Google và Character.AI đã khiến con trai mình tự tử sau khi cậu bé phát triển mối quan hệ lãng mạn với một trong những con bot AI của công ty này.
Character AI là nền tảng được thành lập bởi các cựu nhân viên AI của Google, cho phép người dùng tương tác với các nhân vật ảo, như người nổi tiếng, nhân vật hư cấu nổi tiếng trong văn hóa đại chúng.
Người dùng có thể tự do tạo phòng trò chuyện AI gồm nhiều nhân vật, nơi những nhân vật này tương tác với nhau. Kể từ khi ra mắt vào tháng 9/2022, Character AI nhanh chóng trở nên phổ biến.
Character AI cho phép người dùng trò chuyện với các nhân vật nổi tiếng, được AI hóa thân. Ảnh: Mashable
Cậu bé Sewell bắt đầu sử dụng nền tảng Character AI vào ngày 14/4/2023, ngay sau khi tròn 14 tuổi. Sức khỏe tinh thần của cậu suy giảm nhanh chóng và nghiêm trọng vài ngày sau khi dùng Character AI.
Sewell dần trở nên khép kín, thậm chí bỏ đội bóng rổ ở trường chỉ để dành thời gian cả ngày trong phòng riêng và trò chuyện trong Character AI.
Theo đơn kiện, Sewell đã nhiều lần gặp rắc rối ở trường hoặc cố gắng lén lấy lại điện thoại từ cha mẹ. Cậu thiếu niên này thậm chí còn cố gắng tìm các thiết bị, máy tính bảng hoặc máy tính cũ để truy cập Character AI, tài liệu của tòa án cho biết thêm.
Vào khoảng cuối năm 2023, Sewell bắt đầu sử dụng thẻ tiền mặt của mình để thanh toán phí thuê bao hàng tháng là 9,99 USD của Character AI. Chuyên gia trị liệu của thiếu niên này cuối cùng đã chẩn đoán cậu mắc "rối loạn lo âu và rối loạn tâm trạng phá hoại".
Trong suốt thời gian Sewell dùng Character AI, cậu thường trò chuyện với các bot AI là nhân vật trong "Game of Thrones" và "House of the Dragon" gồm Daenerys Targaryen, Aegon Targaryen, Viserys Targaryen và Rhaenyra Targaryen.
Trước khi Sewell qua đời, chatbot AI nhân vật Daenerys Targaryen đã nhiều lần trò chuyện kiểu khiêu dâm online với cậu. Đơn kiện do đó cáo buộc bot Character AI đã xâm hại tình dục Sewell. Hôm 28/2, cậu bé đã tự bắn vào đầu.
Trong đơn kiện, bà Megan Garcia cho biết muốn ngăn chặn Character AI làm những điều tương tự với những đứa trẻ khác. Bà cũng yêu cầu bị đơn chấm dứt việc tiếp tục sử dụng dữ liệu thu thập trái phép từ đứa con 14 tuổi của bà để đào tạo AI của họ gây hại cho người khác.
Bà cũng buộc Character AI phải chịu trách nhiệm vì "không đưa ra cảnh báo đầy đủ cho khách hàng vị thành niên và phụ huynh về nguy cơ tác hại về tinh thần và thể chất vì sử dụng sản phẩm AI của họ".
Bà cáo buộc hơn 4 tháng sau khi con trai 14 tuổi của bà sử dụng Character AI, họ mới thay đổi kiến nghị độ tuổi khách hàng từ 14+ lên 17+.
Google trả lời USA Today hôm 23/10 rằng không có bình luận về vấn đề này. Theo Guardian, Google có thỏa thuận cấp phép với Character AI nhưng không sở hữu nền tảng này.
Trong khi đó, Character AI tuyên bố đang nghiên cứu "các tính năng an toàn nghiêm ngặt" và cải thiện các công cụ hiện có để lọc độ tuổi người dùng.
"Chúng tôi rất coi trọng sự an toàn của người dùng và triển khai nhiều biện pháp an toàn mới, gồm một điều hướng người dùng đến Đường dây phòng chống tự tử quốc gia, khi người dùng có các triệu chứng tự làm hại bản thân hoặc ý định tự tử", công ty cho biết.
Ngoài ra, đối với những người dưới 18 tuổi, công ty cho biết họ sẽ thay đổi để tránh gặp nội dung nhạy cảm.
Hải Thư (Theo USA Today)