Perkenalkan Devin, Insinyur 'Software' AI Pertama di Dunia
📅 Jumat, 19 Apr 2024, 14:13 WIB | Oleh: Selocahyo Basoeki Utomo S
Penampilan Devin
Wu mengevaluasi Devin di SWE-bench , sebuah tolok ukur yang meminta agen untuk menyelesaikan masalah GitHub dunia nyata yang ditemukan dalam proyek sumber terbuka seperti Django dan scikit-learn.
Dari hasil tes, Devin menyelesaikan 13,86 persen masalah secara menyeluruh, jauh melebihi penyelesaian mutakhir sebelumnya sebesar 1,96 persen Bahkan ketika diberikan file yang tepat untuk diedit, model terbaik sebelumnya hanya dapat menyelesaikan 4,80 persen masalah.
*Devin dievaluasi pada 25 persen subset acak dari kumpulan data. Devin tidak dibantu, sedangkan semua model lainnya dibantu (artinya model diberi tahu secara pasti file mana yang perlu diedit)," kata Wu.
Sebaiknya Anda baca juga:
Dia menambahkan, Devin saat ini berada dalam akses awal seiring peningkatan kapasitas perusahaan.
Website kami bergantung pada iklan untuk terus dapat menghadirkan jurnalisme berkualitas.
Dukung kami dengan mengijinkan iklan tampil di browser anda.
- Klik ikon AdBlock pada area ekstensi browser (di bagian pojok kanan atas).
- Lalu klik pilihan untuk menonaktifkan atau pilihan "Don't run on this website / on this page".
Setelah itu Refresh / Muat Ulang halaman ini.
Komentar (0)
Belum ada komentar.
Silakan login via Google untuk dapat memberi komentar!