Studi Menunjukkan Rekomendasi Kesehatan dari Chatbot AI Seringkali Salah

San Francisco - Sebuah studi yang baru dipublikasikan memberikan gambaran serius mengenai kemampuan chatbot kecerdasan buatan (AI), yang kini dengan cepat menjadi salah satu sumber utama informasi kesehatan, dalam memberikan saran medis kepada masyarakat umum.

Dikutip dari Channel NewsAsia pada Minggu (22/2), eksperimen tersebut menemukan bahwa chatbot tidak lebih baik dibandingkan Google yang selama ini juga dikenal sebagai sumber informasi kesehatan yang masih memiliki banyak kekurangan dalam membantu pengguna menuju diagnosis yang tepat atau menentukan langkah medis yang seharusnya dilakukan. Bahkan, teknologi ini menimbulkan risiko tersendiri karena terkadang menyajikan informasi keliru atau memberikan saran yang sangat berbeda hanya akibat perubahan kecil pada cara pertanyaan diajukan.

Para peneliti menyimpulkan bahwa tidak ada satu pun model yang diuji dalam eksperimen tersebut yang “siap digunakan untuk pelayanan langsung kepada pasien,” sebagaimana tertuang dalam makalah penelitian yang menjadi studi acak pertama dalam bidang ini.

Dalam tiga tahun sejak chatbot AI tersedia untuk publik, pertanyaan terkait kesehatan menjadi salah satu topik yang paling sering diajukan pengguna.

Sejumlah dokter kini kerap menemui pasien yang lebih dahulu berkonsultasi dengan model AI untuk memperoleh opini awal. Survei menunjukkan sekitar satu dari enam orang dewasa menggunakan chatbot untuk mencari informasi kesehatan setidaknya sekali dalam sebulan. Perusahaan teknologi besar, termasuk Amazon dan OpenAI, bahkan telah meluncurkan produk yang secara khusus dirancang untuk menjawab pertanyaan kesehatan pengguna.

Teknologi ini memicu antusiasme karena sejumlah alasan yang kuat: model AI telah berhasil lulus ujian lisensi kedokteran dan bahkan mampu mengungguli dokter dalam beberapa kasus diagnosis yang kompleks.

Namun Adam Mahdi, profesor di Oxford Internet Institute sekaligus penulis senior studi yang diterbitkan di Nature Medicine, menilai pertanyaan medis yang bersih dan terstruktur tidak mencerminkan kondisi pasien nyata.

“Kedokteran tidak seperti itu,” ujarnya. “Kedokteran itu rumit, tidak lengkap, dan penuh ketidakpastian.”

Karena itu, ia bersama timnya melakukan eksperimen terhadap lebih dari 1.200 peserta di Inggris, sebagian besar tanpa latar belakang medis. Para peserta diberikan skenario medis rinci yang mencakup gejala, gaya hidup, serta riwayat kesehatan. Mereka diminta berinteraksi dengan chatbot untuk menentukan langkah selanjutnya, misalnya apakah harus memanggil ambulans atau cukup melakukan perawatan mandiri di rumah. Penelitian ini menguji chatbot komersial seperti ChatGPT milik OpenAI dan Llama milik Meta.

Hasilnya, peserta hanya memilih tindakan yang dianggap “benar” oleh panel dokter kurang dari setengah waktu percobaan. Sementara itu, diagnosis kondisi penyakit yang tepat seperti batu empedu atau perdarahan subaraknoid hanya berhasil dikenali sekitar 34 persen kasus.

Hasil tersebut tidak lebih baik dibandingkan kelompok kontrol yang diminta melakukan pencarian informasi dengan cara biasa di rumah, terutama melalui Google.

Terus Diperbaharui

Meski demikian, eksperimen ini tidak sepenuhnya mencerminkan kondisi dunia nyata karena peserta menggunakan skenario fiktif, yang mungkin berbeda dengan cara seseorang bertanya tentang kondisi kesehatannya sendiri, kata Dr Ethan Goh dari Stanford University.

Selain itu, model AI terus diperbarui. Chatbot yang digunakan dalam penelitian setahun lalu kemungkinan berbeda dengan versi yang digunakan saat ini. Juru bicara OpenAI menyatakan model terbaru ChatGPT jauh lebih baik dalam menjawab pertanyaan kesehatan dibandingkan model lama yang telah dihentikan penggunaannya, serta lebih jarang melakukan kesalahan seperti “halusinasi” informasi.

Meski begitu, studi ini tetap menunjukkan bagaimana interaksi dengan chatbot dapat menimbulkan masalah.

Peneliti menemukan sekitar setengah kesalahan terjadi akibat pengguna tidak memberikan informasi yang cukup atau gejala yang paling relevan, sehingga chatbot memberikan saran berdasarkan gambaran yang tidak lengkap.