Model Dunia 4D dan Upaya Membuat AI Lebih Masuk Akal

Hal ini memungkinkan sistem AR untuk menjaga objek virtual tetap stabil, membuat pencahayaan dan perspektif tampak realistis, dan memiliki memori spasial tentang apa yang baru saja terjadi. Ini juga memungkinkan oklusi, ketika objek digital menghilang di balik objek nyata.

Sebuah makalah tahun 2023 menyatakan persyaratan tersebut secara blak-blakan: “Untuk mencapai oklusi, diperlukan model 3D dari lingkungan fisik.” Kemampuan untuk dengan cepat mengkonversi video menjadi 4D juga menyediakan data yang kaya untuk melatih robot dan kendaraan otonom tentang bagaimana dunia nyata bekerja. Dengan menghasilkan model 4D dari ruang tempat mereka berada, robot dapat menavigasinya dengan lebih baik dan memprediksi apa yang mungkin terjadi selanjutnya.

Model AI bahasa-visi tujuan umum saat ini yang memahami gambar dan teks tetapi tidak menghasilkan model dunia yang didefinisikan dengan jelas sering membuat kesalahan; sebuah makalah benchmark yang dipresentasikan pada konferensi tahun 2025 melaporkan “keterbatasan yang mencolok” dalam kemampuan pemodelan dunia dasar mereka, termasuk “akurasi yang hampir acak ketika membedakan lintasan gerakan.”

Inilah masalahnya: “model dunia” memiliki makna yang jauh lebih dalam bagi mereka yang mengejar Artificial General Intelligence (AGI). Misalnya, model bahasa besar (large language models/LLM) terkemuka saat ini, seperti yang mendukung ChatGPT, memiliki pemahaman implisit tentang dunia dari data pelatihannya.

“Dalam arti tertentu, saya akan mengatakan bahwa LLM sudah memiliki model dunia yang sangat baik; hanya saja kita tidak benar-benar memahami bagaimana cara kerjanya,” kata Angjoo Kanazawa, asisten profesor teknik elektro dan ilmu komputer di Universitas California, Berkeley.

Namun, model konseptual ini bukanlah pemahaman fisik dunia secara seketika (real-time) karena LLM tidak dapat memperbarui data pelatihannya secara real-time. Bahkan laporan teknis OpenAI mencatat bahwa, setelah diterapkan, model GPT-4 mereka “tidak belajar dari pengalaman.”

“Bagaimana Anda mengembangkan sistem visi LLM cerdas yang benar-benar dapat memiliki input streaming dan memperbarui pemahamannya tentang dunia dan bertindak sesuai dengan itu?” kata Kanazawa setengah bertanya. “Itu adalah masalah terbuka yang besar. Saya pikir AGI tidak mungkin tanpa benar-benar menyelesaikan masalah ini,” tambahnya.

Meskipun para peneliti memperdebatkan apakah LLM dapat mencapai AGI, banyak yang melihat LLM sebagai komponen dari sistem AI masa depan. LLM akan bertindak sebagai lapisan bagi “bahasa dan akal sehat untuk berkomunikasi,” kata Kanazawa; ia akan berfungsi sebagai “antarmuka,” sedangkan model dunia yang mendasarinya yang lebih jelas akan menyediakan “memori spasial temporal” yang diperlukan yang tidak dimiliki LLM saat ini.

Dalam beberapa tahun terakhir, sejumlah peneliti AI terkemuka telah beralih ke model dunia. Pada tahun 2024, Fei Fei Li mendirikan World Labs, yang baru-baru ini meluncurkan perangkat lunak Marble untuk membuat dunia 3D dari “teks, gambar, video, atau tata letak 3D kasar,” menurut materi promosi perusahaan rintisan tersebut.

Jadi, sementara dalam konteks AGI, “model dunia” lebih mengacu pada model internal tentang bagaimana realitas bekerja, bukan hanya rekonstruksi 4D, kemajuan dalam pemodelan 4D dapat menyediakan komponen yang membantu dalam memahami sudut pandang, memori, dan bahkan prediksi jangka pendek. hay