Model Dunia 4D dan Upaya Membuat AI Lebih Masuk Akal

MODEL kecerdasan buatan (artificial intelligence/AI) saat ini masih sering jauh dari harapan. Saat meminta video seekor anjing, dan saat anjing itu berlari di belakang sofa, kalungnya menghilang. Kemudian, saat kamera bergeser kembali, sofa tersebut menjadi sofa biasa.

Sebagian masalah terletak pada sifat prediktif dari banyak model AI. Seperti model yang mendukung ChatGPT, yang dilatih untuk memprediksi teks, model pembuatan video memprediksi apa yang secara statistik paling mungkin terlihat benar selanjutnya.

“Dalam kedua kasus tersebut, AI tidak memiliki model dunia (world model) yang jelas yang terus diperbarui untuk membuat keputusan yang lebih tepat,” tulis Scientific American.

Namun hal itu mulai berubah seiring para peneliti di berbagai bidang AI berupaya menciptakan “model dunia,” dengan implikasi yang meluas melampaui pembuatan video dan penggunaan chatbot hingga realitas tertambah (augmented reality/AR), robotika, kendaraan otonom, dan bahkan kecerdasan mirip manusia (humanlike intelligence), atau kecerdasan umum buatan (artificial general intelligence/AGI).

Cara sederhana untuk memahami pemodelan dunia adalah melalui model empat dimensi, atau 4D (tiga dimensi ditambah waktu). Untuk melakukan ini, mari mengingat kembali ke tahun 2012, ketika Titanic, 15 tahun setelah rilis teatrikalnya, dengan susah payah diubah menjadi 3D stereoskopik.

Jika membekukan bingkai apa pun, seseorang akan mendapatkan kesan jarak antara karakter dan objek di kapal. Tetapi jika Leonardo DiCaprio membelakangi kamera, penonton tidak akan dapat berjalan mengelilinginya untuk melihat wajahnya.

Ilusi 3D dalam sinema dibuat menggunakan stereoskopi dua gambar yang sedikit berbeda yang sering diproyeksikan secara bergantian dengan cepat, satu untuk mata kiri dan satu untuk mata kanan. Semua orang di bioskop melihat pasangan gambar yang sama dan dengan demikian perspektif yang serupa.

Namun, berkat penelitian dekade terakhir, berbagai perspektif semakin dimungkinkan. Bayangkan seseorang menyadari seharusnya mengambil foto dari sudut yang berbeda, lalu AI melakukan penyesuaian tersebut, memberikan pemandangan yang sama dengan perspektif baru.

Mulai tahun 2020, algoritma NeRF (neural radiance field) menawarkan jalan untuk menciptakan “tampilan baru fotorealistik” tetapi membutuhkan penggabungan banyak foto sehingga sistem AI dapat menghasilkan representasi 3D. Pendekatan 3D lainnya menggunakan AI untuk mengisi informasi yang hilang secara prediktif, yang lebih menyimpang dari kenyataan.

Sekarang, bayangkan setiap bingkai dalam film Titanic direpresentasikan dalam 3D sehingga film tersebut ada dalam 4D. Penonton dapat menelusuri waktu untuk melihat momen yang berbeda atau menelusuri ruang untuk menontonnya dari perspektif yang berbeda.

Penonton juga dapat menghasilkan versi baru darinya. Misalnya, sebuah pratinjau terbaru, “NeoVerse: Meningkatkan Model Dunia 4D (4D World Model) dengan Video Monokuler di Alam Liar,” menjelaskan salah satu cara mengubah video menjadi model 4D untuk menghasilkan video baru dari perspektif yang berbeda.

Namun, teknik 4D juga dapat membantu menghasilkan konten video baru. Sebuah makalah pracetak terbaru, “TeleWorld: Menuju Sintesis Multimodal Dinamis dengan Model Dunia 4D,” berlaku untuk skenario yang dibahas di awal tulisan ini yaitu anjing yang berlari di belakang sofa.

Para penulis berpendapat bahwa stabilitas sistem video AI meningkat ketika model dunia 4D yang terus diperbarui memandu proses pembuatan. Model 4D sistem tersebut akan membantu mencegah sofa berubah menjadi tempat tidur dan anjing kehilangan kalungnya.

Ini adalah hasil awal, tetapi mengisyaratkan tren yang lebih luas: model yang memperbarui peta adegan internal saat proses pembuatan berlangsung. Namun, pemodelan 4D memiliki aplikasi yang jauh melampaui pembuatan video. Untuk augmented reality (AR), bayangkan kacamata prototipe Orion dari Meta model dunia 4D adalah peta dunia pengguna yang terus berkembang dari waktu ke waktu.

Hal ini memungkinkan sistem AR untuk menjaga objek virtual tetap stabil, membuat pencahayaan dan perspektif tampak realistis, dan memiliki memori spasial tentang apa yang baru saja terjadi. Ini juga memungkinkan oklusi, ketika objek digital menghilang di balik objek nyata.

Sebuah makalah tahun 2023 menyatakan persyaratan tersebut secara blak-blakan: “Untuk mencapai oklusi, diperlukan model 3D dari lingkungan fisik.” Kemampuan untuk dengan cepat mengkonversi video menjadi 4D juga menyediakan data yang kaya untuk melatih robot dan kendaraan otonom tentang bagaimana dunia nyata bekerja. Dengan menghasilkan model 4D dari ruang tempat mereka berada, robot dapat menavigasinya dengan lebih baik dan memprediksi apa yang mungkin terjadi selanjutnya.

Model AI bahasa-visi tujuan umum saat ini yang memahami gambar dan teks tetapi tidak menghasilkan model dunia yang didefinisikan dengan jelas sering membuat kesalahan; sebuah makalah benchmark yang dipresentasikan pada konferensi tahun 2025 melaporkan “keterbatasan yang mencolok” dalam kemampuan pemodelan dunia dasar mereka, termasuk “akurasi yang hampir acak ketika membedakan lintasan gerakan.”

Inilah masalahnya: “model dunia” memiliki makna yang jauh lebih dalam bagi mereka yang mengejar Artificial General Intelligence (AGI). Misalnya, model bahasa besar (large language models/LLM) terkemuka saat ini, seperti yang mendukung ChatGPT, memiliki pemahaman implisit tentang dunia dari data pelatihannya.

“Dalam arti tertentu, saya akan mengatakan bahwa LLM sudah memiliki model dunia yang sangat baik; hanya saja kita tidak benar-benar memahami bagaimana cara kerjanya,” kata Angjoo Kanazawa, asisten profesor teknik elektro dan ilmu komputer di Universitas California, Berkeley.

Namun, model konseptual ini bukanlah pemahaman fisik dunia secara seketika (real-time) karena LLM tidak dapat memperbarui data pelatihannya secara real-time. Bahkan laporan teknis OpenAI mencatat bahwa, setelah diterapkan, model GPT-4 mereka “tidak belajar dari pengalaman.”

“Bagaimana Anda mengembangkan sistem visi LLM cerdas yang benar-benar dapat memiliki input streaming dan memperbarui pemahamannya tentang dunia dan bertindak sesuai dengan itu?” kata Kanazawa setengah bertanya. “Itu adalah masalah terbuka yang besar. Saya pikir AGI tidak mungkin tanpa benar-benar menyelesaikan masalah ini,” tambahnya.

Meskipun para peneliti memperdebatkan apakah LLM dapat mencapai AGI, banyak yang melihat LLM sebagai komponen dari sistem AI masa depan. LLM akan bertindak sebagai lapisan bagi “bahasa dan akal sehat untuk berkomunikasi,” kata Kanazawa; ia akan berfungsi sebagai “antarmuka,” sedangkan model dunia yang mendasarinya yang lebih jelas akan menyediakan “memori spasial temporal” yang diperlukan yang tidak dimiliki LLM saat ini.

Dalam beberapa tahun terakhir, sejumlah peneliti AI terkemuka telah beralih ke model dunia. Pada tahun 2024, Fei Fei Li mendirikan World Labs, yang baru-baru ini meluncurkan perangkat lunak Marble untuk membuat dunia 3D dari “teks, gambar, video, atau tata letak 3D kasar,” menurut materi promosi perusahaan rintisan tersebut.

Jadi, sementara dalam konteks AGI, “model dunia” lebih mengacu pada model internal tentang bagaimana realitas bekerja, bukan hanya rekonstruksi 4D, kemajuan dalam pemodelan 4D dapat menyediakan komponen yang membantu dalam memahami sudut pandang, memori, dan bahkan prediksi jangka pendek. hay