13/10/2025
Benchmark InferenceMAX v1, dirilis minggu ini oleh firma analis SemiAnalysis, mengevaluasi efisiensi inferensi AI melintasi berbagai GPU dari vendor hardware terkemuka. Pengujian mencakup throughput, latensi, dan total biaya kepemilikan saat menjalankan framework seperti vLLM, SGLang, dan TensorRT-LLM. Benchmark bersifat open source dan dijalankan setiap malam untuk merefleksikan peningkatan perangkat lunak dan firmware secara hampir real-time.
SemiAnalysis menemukan sistem rack-scale GB200 NVL72 dari Nvidia menunjukkan performa terkuat di semua metrik, termasuk throughput-per-dolar dan tokens-per-megawatt, melampaui sistem pesaing seperti AMD MI355X.
Sistem rack-scale Nvidia Blackwell unggul dalam benchmark InferenceMAX, dengan teknologi jaringan NVLink jadi faktor kunci. Baca analisis lengkapnya.