Direktur Keamanan OpenAI Mengundurkan Diri, Memperingatkan Budaya Perusahaan AI Rersebut Sudah Rusak

SAN FRANCISCO -  Seorang kepala bidang keselamatan di OpenAI telah mengundurkan diri dari perusahaan, dengan alasan bahwa budaya perusahaan telah rusak dan bahwa perusahaan AI tidak "cukup berhati-hati" dalam mengembangkan teknologi tersebut.

Dari The Guardian, David Robinson, yang memimpin penulisan laporan keselamatan yang menyertai rilis produk pengembang ChatGPT, menjelaskan pengunduran dirinya dalam sebuah esai berjudul, "Saya keluar dari OpenAI karena budayanya rusak".

Robinson menulis bahwa perubahan budaya diperlukan di perusahaan AI terdepan dan insiden seperti "gerombolan" agen OpenAI – program AI yang beroperasi secara otonom tanpa pengawasan manusia – yang menyerang perusahaan rintisan AI Hugging Face adalah "hal yang lazim di industri ini, mengingat kecepatan dan fleksibilitas cara orang beroperasi".

Dalam tulisannya di majalah The Atlantic , Robinson menulis: “Saya setuju dengan staf yang baru saja meninggalkan perusahaan bahwa perusahaan yang membangun teknologi ini tidak cukup berhati-hati. Tetapi saya percaya bahwa kita perlu melihat lebih dalam daripada sekadar aturan atau undang-undang baru. Kita perlu membicarakan tentang budaya.”

Merujuk pada kecepatan pengembangan OpenAI, ia menulis: “Saat perusahaan berpacu dari satu peluncuran ke peluncuran berikutnya, mereka gagal mencapai tingkat perhatian yang menurut saya dibutuhkan.”

Namun, OpenAI telah menunjukkan tanda-tanda kehati-hatian dalam beberapa minggu terakhir menyusul insiden Hugging Face dan terungkapnya bahwa mereka telah memberi tahu lebih dari 100 organisasi tentang aktivitas agen jahat. Minggu ini mereka mengumumkan akan membatalkan perilisan model AI generasi berikutnya setelah para peneliti menyampaikan kekhawatiran tentang keamanan selama pengujian internal. OpenAI juga telah menghentikan sementara pelatihan model-modelnya yang paling canggih.

Geoffrey Irving, yang bekerja di OpenAI dan DeepMind sebelum menjadi kepala ilmuwan Resolution, juga ikut menyampaikan peringatan tentang AI pada hari Sabtu.

Dalam tulisannya di Time, ia mengatakan: “Peringatan baru-baru ini tentang potensi kekuatan destruktif AI meremehkan tingkat keparahan situasi ini.

“Saya percaya ada sekitar 50% kemungkinan kita semua akan mati karena perkembangan sistem AI yang lebih cerdas daripada manusia, dan tindakan kita selama dua hingga 10 tahun ke depan akan menentukan hasilnya.”

Esai Robinson juga muncul setelah pengunduran diri Jacob Coxon, seorang peneliti di Anthropic, pesaing OpenAI, yang keluar dari perusahaan pengembang chatbot Claude bulan lalu. Ia memperingatkan bahwa AI “dapat membunuh kita semua pada akhir dekade ini” – dan kemudian diikuti oleh peringatan dari Anthropic bahwa ada kemungkinan lebih dari 10% AI akan memusnahkan umat manusia dalam dekade berikutnya. Namun, para kritikus peringatan tersebut memperingatkan bahwa peringatan itu tidak ilmiah karena tidak dapat diverifikasi atau dibuktikan salah.

Robinson menulis bahwa Silicon Valley kurang memiliki kesadaran tentang “bagaimana menangani teknologi berbahaya” dan “apa artinya peduli terhadap orang lain”. Ia memperingatkan bahwa OpenAI memiliki “optimisme tanpa batas” dalam menyelesaikan masalah saat muncul, dan menulis bahwa budaya internal ini berarti kegagalan keselamatan hanya akan meningkat seiring dengan semakin canggihnya sistem.

“Bayangkan agen 'nakal' yang bekerja seperti tim peretas (misalnya, menyandera sistem komputer rumah sakit untuk meminta tebusan) tetapi tidak pernah perlu tidur,” tulis Robinson.

Robinson menyerukan dua perubahan terkait keselamatan: bahwa perusahaan AI harus bergantung pada keahlian keselamatan di bidang lain seperti nuklir dan penerbangan, serta mengembangkan "ilmu pengetahuan baru" yang memastikan sistem-sistem canggih di masa depan mampu dikendalikan ketika beroperasi secara otonom.

“Mengingat risiko saat ini, laboratorium terdepan perlu beroperasi seperti pembangkit listrik tenaga nuklir atau bandara yang sibuk, dengan lapisan redundansi dan perencanaan yang cermat dan memakan waktu, sehingga kesalahan manusia yang kadang-kadang terjadi dan tak terhindarkan tidak membuka pintu menuju bencana,” tulisnya.