Bias Bahasa Dorong Jepang Ciptakan Teknologi ChatGPT Versi Sendiri

"Mengingat kompleksitas tersebut, tidak mengherankan jika ChatGPT dapat tersandung pada aspek bahasanya. Dalam bahasa Jepang, ChatGPT terkadang menghasilkan karakter yang sangat langka yang belum pernah dilihat kebanyakan orang sebelumnya, dan menghasilkan kata-kata aneh yang tidak diketahui," tutur Sakaguchi.

Agar LLM bermanfaat dan bahkan layak secara komersial, LLM harus mencerminkan praktik budaya dan bahasa secara akurat. Jika ChatGPT diminta untuk menulis email lamaran pekerjaan dalam bahasa Jepang, misalnya, hal ini mungkin menghilangkan ekspresi kesopanan standar dan terlihat seperti terjemahan yang jelas dari bahasa Inggris.

Untuk mengukur seberapa sensitif LLM terhadap budaya Jepang, sekelompok peneliti meluncurkan Rakuda, sebuah peringkat seberapa baik LLM dapat menjawab pertanyaan terbuka tentang topik Jepang. Salah satu pendirinya, Sam Passaglia, dan rekan-rekannya meminta ChatGPT untuk membandingkan kelancaran dan kesesuaian budaya antara jawaban dengan perintah standar.

Penggunaan alat ini untuk menentukan peringkat hasil didasarkan pada pracetak yang diterbitkan pada bulan Juni lalu yang menunjukkan bahwa GPT-4 87 persen setuju dengan penilaian manusia. LLM Jepang telah menjadi open-source terbaik berada di peringkat keempat di Rakuda, sementara di posisi pertama, mungkin tidak mengherankan mengingat ia juga menjadi juri kompetisi, adalah GPT-4.

"Tentu saja LLM Jepang menjadi jauh lebih baik, tetapi mereka jauh tertinggal dari GPT-4," kata Passaglia, fisikawan di Universitas Tokyo yang mempelajari model bahasa Jepang. Namun secara prinsip, kata Passaglia, tidak ada alasan bahwa LLM Jepang tidak dapat menyamai atau melampaui GPT-4 di masa depan.
Halaman Selanjutnya....