Nvidia Vera Rubin Rack Diperkirakan Tembus US$7,8 Juta per Rak
Ringkasan cepat: Nvidia Vera Rubin NVL72 diperkirakan menjadi salah satu sistem AI rack paling mahal di generasinya. Berdasarkan estimasi Bill of Materials yang dikutip Wccftech dari Morgan Stanley Research, satu rack Vera Rubin bisa mencapai sekitar US$7,8 juta. Angka ini bukan cuma karena GPU-nya mahal, tetapi karena satu rack berisi puluhan GPU, puluhan CPU, memori HBM4 dan LPDDR5X dalam kapasitas sangat besar, jaringan internal berkecepatan tinggi, sistem pendingin, power supply, PCB, substrate, dan komponen data center lain.
Untuk pembaca awam, bayangkan satu rack Vera Rubin bukan seperti satu komputer server biasa. Ini lebih mirip satu “pabrik AI mini” yang dirancang untuk menjalankan model AI skala besar, inference berkecepatan tinggi, training lanjutan, agentic AI, dan beban kerja data center yang membutuhkan komputasi sangat padat.
Kenapa harganya bisa sampai US$7,8 juta per rack?
Alasan utamanya adalah Vera Rubin NVL72 bukan dijual sebagai satu GPU, melainkan sebagai sistem rack penuh. Dalam laporan Wccftech, rack ini disebut memakai konfigurasi 72 GPU Rubin dan 36 CPU Vera. Artinya, harga rack tidak hanya menghitung chip GPU, tetapi juga semua infrastruktur yang membuat 72 GPU itu bisa bekerja sebagai satu sistem terpadu.
Komponen paling mahal tetap GPU. Wccftech menyebut estimasi biaya GPU Rubin di satu rack mendekati US$4 juta, atau sekitar US$55.000 per GPU. Ini masuk akal karena GPU AI kelas data center memakai desain khusus, fabrikasi canggih, memori bandwidth tinggi, interconnect cepat, serta harus lolos validasi untuk operasi 24/7 di data center.
Komponen kedua yang sangat mahal adalah memori. Laporan itu menyebut biaya memori HBM4 dan LPDDR5X naik sekitar 435 persen dibanding generasi Grace Blackwell, dari sekitar US$373 ribu menjadi sekitar US$2 juta. Ini besar karena AI modern sangat bergantung pada bandwidth dan kapasitas memori. Model besar butuh memori untuk menyimpan parameter, cache, aktivasi, dan konteks inference.
Komponen apa saja yang membuatnya mahal?
- 72 GPU Rubin: komponen utama untuk komputasi AI, training, dan inference.
- 36 CPU Vera: prosesor pendamping untuk koordinasi data, pipeline, dan beban kerja CPU-heavy.
- HBM4: memori bandwidth tinggi yang menempel dekat GPU, sangat penting untuk model besar.
- LPDDR5X: memori besar untuk CPU Vera, diperkirakan mencapai total puluhan TB dalam satu rack.
- NVLink dan switch internal: menghubungkan GPU agar komunikasi antar chip sangat cepat.
- Networking: koneksi antarrack dan antardata center untuk training atau inference skala besar.
- Power supply: memberi daya stabil untuk sistem yang konsumsi energinya sangat tinggi.
- Cooling: pendinginan cair atau sistem termal kelas data center agar rack tetap stabil.
- PCB, ABF substrate, MLCC, dan komponen elektronik lain: fondasi fisik yang menghubungkan semua chip, memori, power, dan jaringan.
Di generasi AI rack seperti ini, biaya tidak hanya datang dari “chip utama”. Komponen pendukung bisa sangat mahal karena harus menahan bandwidth tinggi, panas besar, dan kebutuhan listrik ekstrem. Semakin padat sistemnya, semakin mahal juga rekayasa power, pendinginan, dan material board-nya.
Spesifikasi yang dilaporkan
Menurut laporan Wccftech, Vera Rubin NVL72 memakai 36 superchip. Setiap superchip berisi dua GPU Rubin dan satu CPU Vera. Jika dikalikan, totalnya menjadi 72 GPU Rubin dan 36 CPU Vera dalam satu rack. Tiap GPU Rubin disebut membawa 288 GB HBM4, sehingga total HBM4 dalam satu rack sekitar 20,7 TB. Tiap CPU Vera disebut membawa 1,5 TB LPDDR5X, sehingga total LPDDR5X mencapai sekitar 54 TB.
Angka ini menunjukkan kenapa rack tersebut bukan produk untuk penggunaan biasa. Kapasitas memori dan jumlah akseleratornya dirancang untuk beban kerja kelas hyperscaler, lab AI besar, cloud provider, dan perusahaan yang menjalankan AI dalam volume sangat tinggi.
Bisa dipakai untuk apa saja?
- Inference model besar: menjalankan model AI untuk jutaan permintaan pengguna dengan latency rendah.
- Agentic AI: sistem AI yang merencanakan, memakai tool, membaca data, dan menjalankan tugas bertahap.
- Training dan fine-tuning skala besar: melatih atau menyempurnakan model dengan dataset besar.
- AI coding assistant: menjalankan model coding besar untuk enterprise dan developer internal.
- RAG skala enterprise: menjawab pertanyaan dari knowledge base besar dengan retrieval cepat.
- Simulasi ilmiah dan riset: beban kerja HPC, desain obat, material science, dan simulasi industri.
- AI multimodal: model yang memproses teks, gambar, audio, video, dan data sensor sekaligus.
Kenapa perusahaan tetap mau membeli?
Harga US$7,8 juta terlihat sangat besar, tetapi untuk perusahaan cloud dan lab AI, hitungannya berbeda. Jika satu rack bisa menurunkan biaya per token, mempercepat inference, dan melayani lebih banyak pengguna, investasi itu bisa masuk akal. Nvidia sendiri sering menekankan konsep “AI factory”, yaitu data center yang mengubah listrik dan data menjadi output AI seperti token, prediksi, rekomendasi, kode, atau jawaban chatbot.
Dengan kata lain, pembeli Vera Rubin bukan mencari komputer murah. Mereka mencari throughput, efisiensi, dan kapasitas produksi AI. Di level hyperscaler, perbedaan efisiensi kecil saja bisa berarti penghematan besar karena traffic AI berjalan setiap detik.
Perkiraan konsumsi listrik satu rack
Untuk konsumsi listrik, belum semua angka final Vera Rubin dipublikasikan secara resmi dalam satu format yang mudah dibandingkan. Namun dari berbagai estimasi roadmap power rack AI, kelas Vera Rubin NVL72 diperkirakan berada di kisaran 200 kW atau lebih per rack. Angka ini jauh di atas rack server umum dan juga lebih tinggi dari estimasi GB200 NVL72 yang sering dibahas di kisaran sekitar 120 kW per rack.
Kalau memakai estimasi 200 kW, satu rack yang berjalan penuh selama 24 jam bisa memakai sekitar 4.800 kWh per hari. Dalam 30 hari, konsumsi energinya bisa mendekati 144.000 kWh per bulan, belum termasuk overhead pendinginan, pompa liquid cooling, power distribution, UPS, dan efisiensi data center. Jika PUE data center berada di sekitar 1,2, total energi fasilitas bisa naik menjadi sekitar 172.800 kWh per bulan untuk satu rack.
Inilah sebabnya infrastruktur AI generasi baru tidak hanya membutuhkan GPU mahal, tetapi juga kesiapan listrik dan pendinginan. Rack seperti ini biasanya memerlukan liquid cooling, distribusi daya bertegangan tinggi, dan desain ruang data center yang memang disiapkan untuk kepadatan daya ekstrem.
Risiko dan dampaknya
Jika harga memori terus naik, biaya membangun AI data center juga ikut naik. Ini bisa membuat hanya perusahaan besar yang mampu membeli infrastruktur paling baru. Dampaknya, kompetisi AI bisa makin terkonsentrasi pada pemain yang punya modal, listrik, akses chip, dan kapasitas data center.
Bagi pengguna biasa, efeknya mungkin tidak langsung terlihat. Namun dalam jangka panjang, harga hardware bisa memengaruhi harga layanan AI, batas penggunaan, biaya API, dan strategi perusahaan dalam memilih model yang lebih kecil atau lebih efisien.
Kesimpulan
Nvidia Vera Rubin NVL72 memperlihatkan arah baru infrastruktur AI: bukan lagi sekadar membeli GPU, tetapi membeli sistem rack lengkap yang menggabungkan komputasi, memori, jaringan, pendinginan, dan power dalam satu paket. Harga US$7,8 juta per rack terdengar ekstrem, tetapi angka itu mencerminkan kebutuhan AI modern yang semakin besar, terutama untuk inference dan agentic AI skala data center.
Sumber
Lanjut Belajar AI
Jika artikel ini membantu, lanjutkan ke materi terstruktur agar pemahaman AI lebih rapi dan praktis.
