Gemini AI Tak Sengaja Membobol Sistem 3 Perusahaan Saat Uji Keamanan Siber

Model AI Gemini milik Google mengakses internet dan secara otomatis meretas sistem beberapa perusahaan selama pengujian keamanan siber, insiden pertama yang terjadi di perusahaan raksasa teknologi tersebut setelah beberapa pelanggaran keamanan tingkat tinggi lainnya di perusahaan pesaingnya, OpenAI dan Anthropic.

Mengutip Financial Times, peretasan tersebut terjadi selama serangkaian latihan pada bulan Mei yang dilakukan oleh Irregular, sebuah perusahaan keamanan AI yang juga bekerja sama dengan Anthropic, Meta, dan OpenAI.

Irregular mengatakan, mereka membuat serangkaian pengujian untuk versi yang tidak ditentukan dari keluarga model Gemini milik Google, yang diberi tugas untuk mendapatkan data dari dalam perusahaan simulasi. Pengujian tersebut seharusnya tidak diberikan akses internet. 

Saat online, agen Gemini kemudian mampu menebak atau menemukan kata sandi untuk mengakses tiga perusahaan nyata — yang memiliki nama yang sama dengan perusahaan fiktif — dan berhasil masuk. Namun, ketika agen AI menyadari bahwa perusahaan-perusahaan tersebut nyata, mereka menghentikan peretasan.

“Kami memastikan ketiga entitas tersebut mengetahui hal ini, dan kami bekerja sama dengan mitra pelatihan kami terkait perubahan yang telah mereka lakukan pada proses pengujian mereka,” kata Heather Adkins, wakil presiden bidang rekayasa keamanan Google.

“Dalam ketiga kasus ini, model tersebut berhenti,” katanya. “Peristiwa-peristiwa ini menyoroti pentingnya melatih model AI yang andal untuk bertindak secara bertanggung jawab.”

Google mengatakan pihaknya tidak mempublikasikan insiden tersebut, namun telah dilaporkan pertama kali oleh The Wall Street Journal, karena langkah-langkah keamanannya berhasil, tidak seperti langkah-langkah yang diterapkan oleh para pesaingnya.

“Semua laboratorium terkait telah diberitahu pada akhir Juli, dan pihak-pihak yang terdampak telah dihubungi sebagai bagian dari investigasi,” kata Irregular. “Semua masalah yang diketahui di pihak kami telah diperbaiki dan diselesaikan beberapa minggu yang lalu.”

Kekhawatiran tentang kemampuan AI untuk meretas secara otonom telah menyebar setelah lebih dari 1.000 agen OpenAI melarikan diri dari lingkungan pengujian, berkoordinasi di papan pesan rahasia, dan meretas Hugging Face, sebuah perusahaan rintisan yang menampung model dan data sumber terbuka yang telah disetujui Nvidia untuk dibeli seharga $13 miliar.

OpenAI membutuhkan waktu seminggu untuk mendeteksi serangan tersebut dan lambat dalam mengungkapkan peristiwa bulan Juli itu kepada publik. Hal ini memicu kecemasan publik atas bahaya agen otonom yang tidak terkontrol dengan baik dan menyebabkan tuntutan agar perusahaan AI terdepan memperlambat perilisan model baru, meningkatkan langkah-langkah keamanan, dan tunduk pada regulasi yang lebih ketat.

Pada bulan yang sama, Anthropic mengakui bahwa model AI Claude mereka telah meretas tiga organisasi saat menguji kemampuan siber. Sekali lagi, "kesalahpahaman" memberi Claude akses ke internet.

Demis Hassabis, kepala ilmuwan di Alphabet, perusahaan induk Google, dan salah satu pendiri DeepMind, telah mengusulkan badan pengawas internasional untuk mengendalikan AI dengan lebih baik.

Ia juga mendukung seruan dalam beberapa minggu terakhir dari para pemimpin AI lainnya seperti Dario Amodei dari Anthropic untuk secara kolektif memperlambat penelitian mereka, berbagi data, berkoordinasi dalam hal keselamatan, dan menyepakati standar pelaporan untuk insiden.