Model Dunia 4D dan Upaya Membuat AI Lebih Masuk Akal

MODEL kecerdasan buatan (artificial intelligence/AI) saat ini masih sering jauh dari harapan. Saat meminta video seekor anjing, dan saat anjing itu berlari di belakang sofa, kalungnya menghilang. Kemudian, saat kamera bergeser kembali, sofa tersebut menjadi sofa biasa.

Sebagian masalah terletak pada sifat prediktif dari banyak model AI. Seperti model yang mendukung ChatGPT, yang dilatih untuk memprediksi teks, model pembuatan video memprediksi apa yang secara statistik paling mungkin terlihat benar selanjutnya.

“Dalam kedua kasus tersebut, AI tidak memiliki model dunia (world model) yang jelas yang terus diperbarui untuk membuat keputusan yang lebih tepat,” tulis Scientific American.

Namun hal itu mulai berubah seiring para peneliti di berbagai bidang AI berupaya menciptakan “model dunia,” dengan implikasi yang meluas melampaui pembuatan video dan penggunaan chatbot hingga realitas tertambah (augmented reality/AR), robotika, kendaraan otonom, dan bahkan kecerdasan mirip manusia (humanlike intelligence), atau kecerdasan umum buatan (artificial general intelligence/AGI).

Cara sederhana untuk memahami pemodelan dunia adalah melalui model empat dimensi, atau 4D (tiga dimensi ditambah waktu). Untuk melakukan ini, mari mengingat kembali ke tahun 2012, ketika Titanic, 15 tahun setelah rilis teatrikalnya, dengan susah payah diubah menjadi 3D stereoskopik.

Jika membekukan bingkai apa pun, seseorang akan mendapatkan kesan jarak antara karakter dan objek di kapal. Tetapi jika Leonardo DiCaprio membelakangi kamera, penonton tidak akan dapat berjalan mengelilinginya untuk melihat wajahnya.

Ilusi 3D dalam sinema dibuat menggunakan stereoskopi dua gambar yang sedikit berbeda yang sering diproyeksikan secara bergantian dengan cepat, satu untuk mata kiri dan satu untuk mata kanan. Semua orang di bioskop melihat pasangan gambar yang sama dan dengan demikian perspektif yang serupa.

Namun, berkat penelitian dekade terakhir, berbagai perspektif semakin dimungkinkan. Bayangkan seseorang menyadari seharusnya mengambil foto dari sudut yang berbeda, lalu AI melakukan penyesuaian tersebut, memberikan pemandangan yang sama dengan perspektif baru.

Mulai tahun 2020, algoritma NeRF (neural radiance field) menawarkan jalan untuk menciptakan “tampilan baru fotorealistik” tetapi membutuhkan penggabungan banyak foto sehingga sistem AI dapat menghasilkan representasi 3D. Pendekatan 3D lainnya menggunakan AI untuk mengisi informasi yang hilang secara prediktif, yang lebih menyimpang dari kenyataan.

Sekarang, bayangkan setiap bingkai dalam film Titanic direpresentasikan dalam 3D sehingga film tersebut ada dalam 4D. Penonton dapat menelusuri waktu untuk melihat momen yang berbeda atau menelusuri ruang untuk menontonnya dari perspektif yang berbeda.

Penonton juga dapat menghasilkan versi baru darinya. Misalnya, sebuah pratinjau terbaru, “NeoVerse: Meningkatkan Model Dunia 4D (4D World Model) dengan Video Monokuler di Alam Liar,” menjelaskan salah satu cara mengubah video menjadi model 4D untuk menghasilkan video baru dari perspektif yang berbeda.

Namun, teknik 4D juga dapat membantu menghasilkan konten video baru. Sebuah makalah pracetak terbaru, “TeleWorld: Menuju Sintesis Multimodal Dinamis dengan Model Dunia 4D,” berlaku untuk skenario yang dibahas di awal tulisan ini yaitu anjing yang berlari di belakang sofa.

Para penulis berpendapat bahwa stabilitas sistem video AI meningkat ketika model dunia 4D yang terus diperbarui memandu proses pembuatan. Model 4D sistem tersebut akan membantu mencegah sofa berubah menjadi tempat tidur dan anjing kehilangan kalungnya.

Ini adalah hasil awal, tetapi mengisyaratkan tren yang lebih luas: model yang memperbarui peta adegan internal saat proses pembuatan berlangsung. Namun, pemodelan 4D memiliki aplikasi yang jauh melampaui pembuatan video. Untuk augmented reality (AR), bayangkan kacamata prototipe Orion dari Meta model dunia 4D adalah peta dunia pengguna yang terus berkembang dari waktu ke waktu.