Lampaui Pabrik AI Terisolasi, Akamai Inference Cloud Hadirkan Respon AI Real-Time

JAKARTA – Akamai Technologies hari ini mencapai tonggak penting dalam evolusi artificial intelligence (AI) dengan meluncurkan implementasi skala global pertama dari desain referensi Nvidia® AI Grid.

Dengan mengintegrasikan infrastruktur AI Nvidia ke dalam ekosistem Akamai serta memanfaatkan orkestrasi beban kerja cerdas, Akamai berencana membawa industri melampaui “pabrik AI” yang terisolasi menuju grid terpadu dan terdistribusi untuk inferensi AI.

Langkah ini menandai fase krusial dalam perkembangan Akamai Inference Cloud yang diluncurkan akhir tahun lalu. Sebagai perusahaan pertama yang mengimplementasikan AI Grid, Akamai kini menggelar ribuan unit GPU Nvidia RTX PRO 6000 Blackwell Server Edition.Infrastruktur ini menyediakan platform bagi perusahaan untuk menjalankan AI berbasis agen dan fisik dengan kecepatan respons komputasi lokal serta skalabilitas jaringan web global.

“Pabrik AI dirancang khusus untuk pelatihan model terdepan — infrastruktur terpusat akan terus memberikan tokenomics terbaik untuk kasus tersebut,” kata Chief Operating Officer dan General Manager, Cloud Technology Group, Akamai, Adam Karon melalui keterangannya pada hari Selasa (17/3).

"Namun, video real-time, AI fisik, dan pengalaman personalisasi menuntut proses inferensi di titik kontak, bukan melalui perjalanan bolak-balik ke klaster terpusat. Orkestrasi cerdas AI Grid kami memungkinkan pabrik AI memperluas inferensi ke luar, memanfaatkan arsitektur terdistribusi yang merevolusi pengiriman konten untuk mengarahkan beban kerja AI ke 4.400 lokasi dengan biaya dan waktu yang tepat," tambahnya,

Arsitektur Tokenomics

Inti dari AI Grid adalah orkestrator cerdas yang berfungsi sebagai perantara real-time untuk permintaan AI. Dengan menerapkan keahlian Akamai dalam optimalisasi kinerja aplikasi ke bidang AI, sistem kendali ini mengoptimalkan “tokenomics” dengan meningkatkan efisiensi biaya per token, time to first token, serta throughput.

Keunggulan utama Akamai adalah memungkinkan pelanggan mengakses model yang telah disesuaikan secara mendetail (fine-tuned) melalui jangkauan edge global yang luas. Contoh efisiensinya meliputi:

Efisiensi Biaya Skala Besar: Perusahaan dapat mengurangi biaya inferensi dengan menyesuaikan beban kerja secara otomatis ke tingkat komputasi yang tepat. Orchestrator menerapkan teknik semantic caching dan intelligent routing untuk mengalokasikan siklus GPU premium hanya pada beban kerja yang membutuhkan.

Responsivitas Real-Time: Studio gim dapat menghadirkan interaksi NPC berbasis AI dalam hitungan milidetik. Lembaga keuangan dapat melakukan deteksi penipuan dan rekomendasi pemasaran instan saat pengguna masuk ke layar pertama. Hal ini didukung 4.400 lokasi edge Akamai yang memproses permintaan pada titik kontak pengguna guna menghindari latensi cloud terpusat.

AI Kelas Produksi sebagai Inti: Model bahasa besar (LLM) dan inferensi multimodal membutuhkan daya komputasi berkelanjutan. Klaster GPU Akamai yang didukung Nvidia RTX PRO 6000 Blackwell Server Edition menyediakan daya terkonsentrasi untuk beban kerja AI terberat.

Kontinum Komputasi: Dari Inti hingga Edge

Dibangun berbasis Nvidia AI Enterprise serta arsitektur Nvidia Blackwell dan BlueField DPU, Akamai mampu mengelola SLA (service level agreement) yang kompleks:

The Edge (>4.400 lokasi): Menawarkan waktu respons cepat untuk AI fisik dan agen otonom menggunakan Akamai Functions (komputasi berbasis WebAssembly) dan EdgeWorkers.