Pemindai Otak fMRI Berteknologi "AI" Dapat Visualkan Objek yang Dilihat Mata

Teknologi AI dapat menciptakan gambar yang baik dari yang dilihat orang dari melalui pemindaian fMRI. Teknologi ini dapat membantu orang yang saat ini tidak dapat berkomunikasi, seperti individu yang secara lahiriah tidak responsif namun masih sadar.

Pencitraan resonansi magnetik fungsional atau functional magnetic resonance imaging (fMRI), adalah salah satu alat paling canggih untuk memahami cara manusia berpikir. Saat seseorang dalam pemindai fMRI menyelesaikan berbagai tugas mental, mesin tersebut menghasilkan gambar yang memukau dan berwarna dari otak mereka saat beraksi.

Melihat aktivitas otak seseorang dengan cara ini dapat memberi tahu ahli saraf area otak mana yang digunakan seseorang, tetapi bukan apa yang dipikirkan, dilihat, atau dirasakan individu tersebut. Para peneliti telah mencoba memecahkan kode itu selama beberapa dekade dan sekarang dengan menggunakan kecerdasan buatan, mereka telah membuat kemajuan yang serius.

Ilmuwan di Jepang baru-baru ini menggabungkan data fMRI dengan kecerdasan buatan (artificial intelligence/AI) penghasil gambar canggih untuk menerjemahkan aktivitas otak peserta studi kembali ke gambar yang sangat mirip dengan yang mereka lihat selama pemindaian.

"Kita dapat menggunakan teknik semacam ini untuk membangun antarmuka otak-mesin yang potensial," kata Yu Takagi, seorang ahli saraf di Universitas Osaka di Jepang dan salah satu penulis studi tersebut, seperti dikutip dari Scientific American.

Antarmuka masa depan semacam itu suatu hari nanti dapat membantu orang yang saat ini tidak dapat berkomunikasi, contohnya individu yang secara lahiriah tampak tidak responsif tetapi mungkin masih sadar. Studi tersebut baru-baru ini diterima untuk dipresentasikan pada Konferensi 2023 tentang Visi Komputer dan Pengenalan Pola atau The 2023 Conference on Computer Vision and Pattern Recognition.

Studi tersebut telah membuat gelombang daring sejak di-posting sebagai pracetak (belum ditinjau atau diterbitkan oleh rekan sejawat) pada Desember 2022. Komentator daring bahkan membandingkan teknologi tersebut dengan membaca pikiran. Meski deskripsi itu melebih-lebihkan kemampuan teknologi ini, menurut para ahli.

"Saya rasa kami tidak keberatan membaca," kata Shailee Jain, ahli saraf komputasi di University of Texas di Austin, yang tidak terlibat dalam studi baru ini. "Menurut saya teknologinya tidak benar-benar berguna bagi pasien atau digunakan untuk hal-hal buruk saat ini," imbuh dia.

Studi baru ini jauh dari yang pertama menggunakan AI pada aktivitas otak untuk merekonstruksi gambar yang dilihat orang. Dalam eksperimen pada 2019, para peneliti di Kyoto, Jepang, menggunakan jenis pembelajaran mesin yang disebut jaringan saraf dalam untuk merekonstruksi gambar dari pindaian fMRI. Hasilnya sejauh ini lebih mirip lukisan abstrak daripada foto, tetapi penilaian manusia masih bisa secara akurat mencocokkan gambar buatan AI dengan gambar aslinya.

Ahli saraf sejak itu melanjutkan pekerjaan ini dengan generator gambar AI yang lebih baru dan lebih baik. Dalam studi baru-baru ini, para peneliti menggunakan stable diffusion, yang disebut model difusi dari stability AI yang berbasis di London. "Model difusi kategori yang juga mencakup generator gambar seperti DALL-E 2 adalah karakter utama ledakan AI," kata Takagi.

Model ini belajar dengan menambahkan noise ke gambar pelatihan mereka. Seperti statis TV, noise mendistorsi gambar tetapi dengan cara yang dapat diprediksi yang mulai dipelajari oleh model. Akhirnya model dapat membangun gambar dari statis saja.

Dirilis ke publik pada Agustus 2022, stable diffusion telah dilatih pada miliaran foto dan keterangannya. Itu telah belajar untuk mengenali pola dalam gambar, sehingga dapat mencampur dan mencocokkan fitur visual sesuai perintah untuk menghasilkan gambar yang sama sekali baru.

"Katakan saja, benar, 'Seekor anjing di papan seluncur', dan kemudian itu akan menghasilkan seekor anjing di papan seluncur," kata Iris Groen, ahli saraf di Universitas Amsterdam, yang tidak terlibat dalam studi baru ini. "Para peneliti hanya mengambil model itu, dan kemudian mereka berkata, 'Oke, bisakah kita sekarang menghubungkannya dengan cara yang cerdas ke pemindaian otak?'" kata dia.

Bantuan Kecerdasan Buatan

Pemindaian otak yang digunakan dalam studi baru berasal dari database penelitian yang berisi hasil studi sebelumnya. Studi menguji delapan peserta setuju untuk secara teratur menggunakan pemindai fMRI dan melihat 10.000 gambar selama setahun.

Hasilnya adalah gudang data fMRI yang sangat besar yang menunjukkan bagaimana pusat penglihatan otak manusia (atau setidaknya otak dari delapan peserta manusia ini) menanggapi melihat setiap gambar. Dalam studi baru-baru ini, para peneliti menggunakan data dari empat peserta asli.

Untuk menghasilkan gambar yang direkonstruksi, model AI perlu bekerja dengan dua jenis informasi yang berbeda yaitu properti visual gambar tingkat rendah dan makna tingkat tinggi. Misalnya, ini bukan hanya objek bersudut dan memanjang dengan latar belakang biru ini adalah pesawat terbang di langit.

Otak juga bekerja dengan dua jenis informasi ini dan memprosesnya di wilayah yang berbeda. Untuk menghubungkan pemindaian otak dan AI bersama-sama, para peneliti menggunakan model linier untuk memasangkan bagian masing-masing yang berhubungan dengan informasi visual tingkat rendah. Mereka juga melakukan hal yang sama dengan bagian yang menangani informasi konseptual tingkat tinggi.

"Dengan memetakannya satu sama lain, mereka mampu menghasilkan gambar-gambar ini," kata Groen.

Model AI kemudian dapat mempelajari pola halus mana dalam aktivasi otak seseorang yang sesuai dengan fitur gambar mana. Setelah model dapat mengenali pola-pola ini, para peneliti memberinya data fMRI yang belum pernah dilihatnya sebelumnya dan menugaskannya untuk menghasilkan gambar yang sejalan dengannya.

Terakhir, para peneliti dapat membandingkan gambar yang dihasilkan dengan aslinya untuk melihat seberapa baik kinerja model. Banyak pasangan gambar yang ditampilkan penulis dalam penelitian ini terlihat sangat mirip. hay/I-1