Lampaui Pabrik AI Terisolasi, Akamai Inference Cloud Hadirkan Respon AI Real-Time

JAKARTA – Akamai Technologies hari ini mencapai tonggak penting dalam evolusi artificial intelligence (AI) dengan meluncurkan implementasi skala global pertama dari desain referensi Nvidia® AI Grid.

Dengan mengintegrasikan infrastruktur AI Nvidia ke dalam ekosistem Akamai serta memanfaatkan orkestrasi beban kerja cerdas, Akamai berencana membawa industri melampaui “pabrik AI” yang terisolasi menuju grid terpadu dan terdistribusi untuk inferensi AI.

Langkah ini menandai fase krusial dalam perkembangan Akamai Inference Cloud yang diluncurkan akhir tahun lalu. Sebagai perusahaan pertama yang mengimplementasikan AI Grid, Akamai kini menggelar ribuan unit GPU Nvidia RTX PRO 6000 Blackwell Server Edition.Infrastruktur ini menyediakan platform bagi perusahaan untuk menjalankan AI berbasis agen dan fisik dengan kecepatan respons komputasi lokal serta skalabilitas jaringan web global.

“Pabrik AI dirancang khusus untuk pelatihan model terdepan — infrastruktur terpusat akan terus memberikan tokenomics terbaik untuk kasus tersebut,” kata Chief Operating Officer dan General Manager, Cloud Technology Group, Akamai, Adam Karon melalui keterangannya pada hari Selasa (17/3).

"Namun, video real-time, AI fisik, dan pengalaman personalisasi menuntut proses inferensi di titik kontak, bukan melalui perjalanan bolak-balik ke klaster terpusat. Orkestrasi cerdas AI Grid kami memungkinkan pabrik AI memperluas inferensi ke luar, memanfaatkan arsitektur terdistribusi yang merevolusi pengiriman konten untuk mengarahkan beban kerja AI ke 4.400 lokasi dengan biaya dan waktu yang tepat," tambahnya,

Arsitektur Tokenomics

Inti dari AI Grid adalah orkestrator cerdas yang berfungsi sebagai perantara real-time untuk permintaan AI. Dengan menerapkan keahlian Akamai dalam optimalisasi kinerja aplikasi ke bidang AI, sistem kendali ini mengoptimalkan “tokenomics” dengan meningkatkan efisiensi biaya per token, time to first token, serta throughput.

Keunggulan utama Akamai adalah memungkinkan pelanggan mengakses model yang telah disesuaikan secara mendetail (fine-tuned) melalui jangkauan edge global yang luas. Contoh efisiensinya meliputi:

Efisiensi Biaya Skala Besar: Perusahaan dapat mengurangi biaya inferensi dengan menyesuaikan beban kerja secara otomatis ke tingkat komputasi yang tepat. Orchestrator menerapkan teknik semantic caching dan intelligent routing untuk mengalokasikan siklus GPU premium hanya pada beban kerja yang membutuhkan.

Responsivitas Real-Time: Studio gim dapat menghadirkan interaksi NPC berbasis AI dalam hitungan milidetik. Lembaga keuangan dapat melakukan deteksi penipuan dan rekomendasi pemasaran instan saat pengguna masuk ke layar pertama. Hal ini didukung 4.400 lokasi edge Akamai yang memproses permintaan pada titik kontak pengguna guna menghindari latensi cloud terpusat.

AI Kelas Produksi sebagai Inti: Model bahasa besar (LLM) dan inferensi multimodal membutuhkan daya komputasi berkelanjutan. Klaster GPU Akamai yang didukung Nvidia RTX PRO 6000 Blackwell Server Edition menyediakan daya terkonsentrasi untuk beban kerja AI terberat.

Kontinum Komputasi: Dari Inti hingga Edge

Dibangun berbasis Nvidia AI Enterprise serta arsitektur Nvidia Blackwell dan BlueField DPU, Akamai mampu mengelola SLA (service level agreement) yang kompleks:

The Edge (>4.400 lokasi): Menawarkan waktu respons cepat untuk AI fisik dan agen otonom menggunakan Akamai Functions (komputasi berbasis WebAssembly) dan EdgeWorkers.

Akamai Cloud IaaS dan Kluster GPU: Infrastruktur cloud publik memungkinkan portabilitas dan penghematan biaya untuk beban kerja besar, sementara pod GPU Blackwell mendukung pemrosesan pasca-pelatihan dan inferensi multimodal intensif.

Mendorong Gelombang Baru AI Real-Time

Akamai telah melihat adopsi awal yang kuat di berbagai industri:

Gaming: Interaksi NPC dengan waktu respons di bawah 50 milidetik.

Layanan Keuangan: Pemasaran personalisasi dan deteksi cepat saat login.

Media dan Video: Transkoding berbasis AI dan dubbing real-time.

Ritel: Aplikasi AI di dalam toko dan alat produktivitas di titik penjualan (PoS).

Platform ini juga telah diakui melalui perjanjian layanan senilai $200 juta selama empat tahun untuk klaster ribuan GPU di pusat data yang dirancang khusus untuk infrastruktur AI korporat di jaringan edge perkotaan.

Memperluas Pabrik AI

Gelombang pertama infrastruktur AI didominasi klaster GPU terpusat untuk pelatihan. Namun, saat inferensi menjadi dominan, model terpusat menghadapi kendala skalabilitas. Akamai mengatasi tantangan ini melalui jaringan terdistribusi dan orkestrasi cerdas guna menyatukan konten dan konteks sedekat mungkin dengan pengguna. Akamai Inference Cloud membawa arsitektur yang telah teruji ini ke dalam AI factories, memungkinkan agen AI yang peka konteks dan responsif secara adaptif.

Ketersediaan

Akamai Inference Cloud kini tersedia bagi pelanggan korporat yang memenuhi syarat. Informasi lebih lanjut tersedia di akamai.com/products/akamai-inference-cloud-platform. Perwakilan Akamai juga hadir memberikan demonstrasi selama acara Nvidia GTC 2026 di San Jose Convention Center, Booth 621, pada 16–19 Maret 2026.