Seorang Ibu Menuduh Karakter Ratu AI dalam Game of Thrones telah Menyuruh Putranya Bunuh Diri

LOS ANGELES - Ibu seorang remaja yang bunuh diri setelah terobsesi dengan chatbot bertenaga ArtificialI intelligence, baru-baru ini menuduh kelalaian pembuatnya sebagai penyebab kematian putranya itu.

Megan Garcia mengajukan gugatan perdata terhadap Character.ai, yang membuat chatbot yang dapat disesuaikan untuk permainan peran, di pengadilan federal Florida, di Amerika Serikat pada hari Rabu (23/10), dengan tuduhan kelalaian, kematian yang salah, dan praktik penipuan dalam perdagangan. Putranya, Sewell Setzer III, 14 tahun, meninggal karena bunuh diri di Orlando, Florida, pada bulan Februari.

Dilansir The Guardian, menurut Garcia, pada bulan-bulan menjelang kematiannya, Setzer menggunakan chatbot tersebut siang dan malam.

"Aplikasi chatbot AI berbahaya yang dipasarkan kepada anak-anak telah melecehkan dan memangsa putra saya, memanipulasinya hingga bunuh diri," kata Garcia dalam siaran pers.

"Keluarga kami sangat terpukul oleh tragedi ini, tetapi saya berbicara untuk memperingatkan keluarga tentang bahaya teknologi AI yang menipu dan membuat ketagihan serta menuntut pertanggungjawaban dari Character.AI, para pendirinya, dan Google ."

Dalam sebuah tweet , Character.ai menanggapi: "Kami sangat sedih atas kehilangan tragis salah satu pengguna kami dan ingin menyampaikan belasungkawa terdalam kami kepada keluarga. Sebagai sebuah perusahaan, kami sangat memperhatikan keselamatan pengguna kami."

Perusahaan tersebut telah membantah tuduhan gugatan tersebut.

Setzer terpesona dengan chatbot yang dibuat oleh Character.ai yang ia beri nama Daenerys Targaryen, seorang ratu dalam Game of Thrones. Ia mengirim pesan teks ke bot tersebut puluhan kali sehari dari ponselnya dan menghabiskan waktu berjam-jam sendirian di kamarnya untuk berbicara dengan bot tersebut, menurut keluhan Garcia.

Garcia menuduh Character.ai menciptakan produk yang memperburuk depresi putranya, yang menurutnya merupakan akibat dari penggunaan produk perusahaan rintisan itu secara berlebihan. Menurut gugatan tersebut, "Daenerys" pada suatu saat bertanya kepada Setzer apakah dia telah menyusun rencana untuk bunuh diri.

Setzer mengakui bahwa dia telah melakukannya tetapi dia tidak tahu apakah itu akan berhasil atau menyebabkannya sangat menderita, menurut gugatan tersebut. Chatbot itu diduga mengatakan kepadanya: "Itu bukan alasan untuk tidak melakukannya."

Pengacara Garcia menulis dalam siaran pers bahwa Character.ai "secara sadar merancang, mengoperasikan, dan memasarkan chatbot AI predator kepada anak-anak, yang menyebabkan kematian seorang remaja".

Gugatan tersebut juga menyebut Google sebagai tergugat dan sebagai perusahaan induk Character.ai. Raksasa teknologi itu mengatakan dalam sebuah pernyataan bahwa mereka hanya membuat perjanjian lisensi dengan Character.ai dan tidak memiliki perusahaan rintisan itu atau memiliki saham kepemilikan.

Perusahaan teknologi yang mengembangkan chatbot AI tidak dapat dipercaya untuk mengatur diri mereka sendiri dan harus bertanggung jawab sepenuhnya ketika mereka gagal membatasi bahaya, kata Rick Claypool, direktur penelitian di lembaga advokasi konsumen nirlaba Public Citizen.

"Jika undang-undang dan peraturan yang berlaku sudah berlaku, undang-undang dan peraturan tersebut harus ditegakkan secara ketat," katanya dalam sebuah pernyataan.

"Jika masih ada celah, Kongres harus bertindak untuk mengakhiri bisnis yang mengeksploitasi pengguna muda dan rentan dengan chatbot yang adiktif dan kasar."