Cloudflare Ubah Cara Perayap AI Mengikis Data Internet Secara Luas dengan Pendekatan Berbasis Izin

"Kami memuji Cloudflare karena mengadvokasi ekosistem digital berkelanjutan yang menguntungkan semua pemangku kepentingan — konsumen yang mengandalkan informasi kredibel, penerbit yang berinvestasi dalam pembuatannya, dan pengiklan yang mendukung penyebarannya," ujar CEO Ziff Davis, Vivek Shah.

Menegakkan Model Berbasis Izin untuk Internet

Cloudflare mendukung salah satu jaringan terbesar di dunia, membantu mengelola dan melindungi lalu lintas untuk 20% web. Perusahaan menangani triliunan permintaan setiap hari, dan dengan demikian memiliki solusi manajemen bot tercanggih di dunia, yang secara akurat membedakan antara pengguna manusia dan perayap AI.

Pada bulan September 2024, Cloudflare memperkenalkan opsi untuk memblokir perayap AI dalam satu klik. Lebih dari satu juta pelanggan telah memilih opsi ini, yang dimaksudkan sebagai solusi agresif namun mudah yang menghentikan pengikisan sementara mereka menentukan strategi AI mereka.

Kini, Cloudflare mengambil langkah berikutnya untuk memberlakukan model berbasis izin untuk perayap AI. Perusahaan AI sekarang diharuskan memperoleh izin tertulis dari situs web sebelum melakukan pengikisan. Setelah mendaftar dengan Cloudflare, setiap domain baru sekarang akan ditanya apakah mereka ingin mengizinkan perayap AI, memberikan pelanggan baru pilihan di awal untuk secara eksplisit mengizinkan atau menolak akses perayap AI.

Dengan perubahan signifikan tersebut berarti bahwa setiap domain baru dimulai dengan kontrol default, dan menghilangkan kebutuhan pemilik halaman web untuk mengonfigurasi pengaturan mereka secara manual untuk memilih tidak ikut serta. Pelanggan dapat dengan mudah memeriksa pengaturan mereka dan mengaktifkan perayapan kapan saja jika mereka ingin konten mereka diakses secara bebas.

Dapat Memverifikasi Perayap Mereka dengan Lebih Andal

Sekarang Cloudflare membuat ekosistem konten lebih transparan bagi perusahaan dan kreator AI. Perusahaan baru-baru ini mengusulkan cara baru bagi bot AI untuk mengautentikasi diri dan bagi situs web untuk mengidentifikasi bot tersebut  memberikan kreator dan pemilik situs web mekanisme identifikasi baru serta kontrol atas perayap yang ingin mereka izinkan.

Cloudflare berpartisipasi dalam pengembangan protokol baru untuk memberikan pemilik bot dan pengembang agen AI dengan cara publik dan standar untuk mengidentifikasi diri mereka.