Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch beraksi – Optimasi Interkoneksi Latensi Rendah

Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 Aksi InfiniBand Switch – Optimasi Interkoneksi Latensi Rendah untuk Klaster RDMA/HPC/AI

Sebuah pusat superkomputer regional baru-baru ini melakukan peningkatan besar-besaran pada infrastruktur komputasi AI miliknya, memperluas dari 64 menjadi 256 GPU NVIDIA A100 untuk mendukung pelatihan model bahasa skala besar dan beban kerja pengurutan genom. Namun, jaringan 100GbE RoCEv2 yang ada menjadi hambatan yang terus-menerus – badai PFC yang sering terjadi, latensi ekor yang tidak dapat diprediksi, dan penyetelan ECN yang rumit menghabiskan upaya teknis yang signifikan dan memperpanjang waktu penyelesaian pekerjaan hingga lebih dari 40%. Studi kasus ini mengkaji bagaimana pusat tersebut menyebarkanMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0InfiniBand beralih untuk mengubah strukturnya, menghadirkan interkoneksi latensi rendah deterministik untuk aplikasi intensif RDMA.

Latar Belakang & Tantangan – Langit-Langit Ethernet

Arsitektur awal pusat ini menggunakan dua switch daun 100GbE dengan RoCEv2, menghubungkan server GPU dan sistem file paralel. Saat tugas pelatihan ditingkatkan, jaringan menunjukkan tiga masalah penting: pertama, kebuntuan PFC (Kontrol Aliran Prioritas) terjadi setiap hari, yang memaksa pengaturan ulang secara manual; kedua, operasi kolektif all-reduce mengalami latensi ekor melebihi 200 μs, yang secara langsung memperlambat penggunaan GPU; ketiga, pemecahan masalah memerlukan pemeriksaan paket yang mendalam, yang memakan waktu dan jarang menghasilkan kesimpulan. Tim operasi menyadari bahwa Ethernet, bahkan dengan ekstensi RDMA, tidak dapat menyediakan struktur deterministik lossless yang diperlukan untuk beban kerja AI generasi berikutnya.

Solusi & Penerapan – The920-9B110-00FH-0D0 Sakelar InfiniBand OPNsebagai Tulang Punggung Baru

Setelah mengevaluasi beberapa opsi, pusat memilihNVIDIA Mellanox 920-9B110-00FH-0D0beralih, berdasarkan920-9B110-00FH-0D0 MQM8790-HS2F 200 Gb/dtk HDRplatform. Penerapannya menggunakan topologi pohon lemak dua tingkat: empat920-9B110-00FH-0D0beralih sebagai daun (masing-masing menghubungkan 64 node GPU melalui tautan 200G) dan dua unit tambahan sebagai duri, menyediakan bandwidth dua bagian penuh. Sakelar tersebut dipasangkan dengan adaptor HDR ConnectX‑6 yang ada, sehingga memanfaatkanKompatibel dengan 920-9B110-00FH-0D0ekosistem untuk memastikan integrasi yang mulus. Keputusan penerapan utama meliputi:

• Pemasangan kabel:Modul optik HDR 200G untuk jarak tulang belakang hingga 100 meter, dengan DAC pasif untuk koneksi intra-rak.
• Pengelolaan:NVIDIA UFM (Unified Fabric Manager) untuk penemuan topologi otomatis, kebijakan perutean adaptif, dan telemetri waktu nyata.
• Pembongkaran kolektif:SHARPv2 diaktifkan untuk mempercepat operasi pengurangan semua, memindahkan beban pekerjaan dari CPU host, dan mengurangi obrolan jaringan.

Tim mereferensikanLembar data 920-9B110-00FH-0D0DanSpesifikasi 920-9B110-00FH-0D0untuk memvalidasi kebutuhan daya dan pendinginan – faktor bentuk 1U dan kepadatan 200G per port switch cocok dengan rak yang ada tanpa perubahan infrastruktur tambahan. Itu920-9B110-00FH-0D0 solusi OPN sakelar InfiniBandjuga menyederhanakan pengadaan, dengan OPN (nomor komponen pemesanan) yang tepat memastikan konfigurasi yang benar.

Hasil & Manfaat Terukur – Peningkatan Kinerja yang Dapat Dikuantifikasi

Setelah dua minggu penerapan dan validasi, pusat tersebut mendokumentasikan peningkatan signifikan di seluruh indikator kinerja utama. Tabel berikut merangkum metrik sebelum dan sesudah untuk tugas pelatihan GPU 256 yang representatif (prapelatihan besar BERT):

Di luar angka tersebut, tim melaporkan bahwaNVIDIA Mellanox 920-9B110-00FH-0D0menghadirkan produk zero‑packet‑drop, yang sepenuhnya menghilangkan intervensi manual yang sebelumnya diperlukan untuk pemulihan PFC. Telemetri bawaan yang disediakan oleh920-9B110-00FH-0D0 Sakelar InfiniBand OPNmemberikan visibilitas terperinci kepada staf operasi mengenai kemacetan per aliran dan pemanfaatan jalur, sehingga memungkinkan perencanaan kapasitas yang proaktif. Selain itu,Harga 920-9B110-00FH-0D0terbukti hemat biaya dibandingkan dengan mengupgrade ke switch NDR 400G, sehingga cocok untuk anggaran kelas menengah pusat.

Ringkasan & Pandangan – Jalan Terbukti Menuju Interkoneksi Latensi Rendah

Pengalaman pusat superkomputer menunjukkan bahwaMellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0menawarkan alternatif pragmatis dan berperforma tinggi terhadap jaringan Ethernet yang bermasalah dan solusi kelas atas yang mahal. Dengan menghadirkan throughput HDR 200 Gb/s, latensi rata-rata di bawah 10 μs, dan transport RDMA lossless, peralihan ini memungkinkan organisasi untuk memaksimalkan potensi investasi GPU mereka – mempercepat time‑to‑insight untuk beban kerja AI dan HPC.

Ke depannya, pusat tersebut berencana untuk memperluas strukturnya menjadi 512 GPU dengan menggunakan jumlah yang sama920-9B110-00FH-0D0 solusi OPN sakelar InfiniBand, melakukan penskalaan dengan menambahkan saklar daun tambahan sambil mempertahankan infrastruktur tulang belakang yang ada. Kompatibilitas switch dengan adaptor NVIDIA masa depan (termasuk ConnectX‑7) memastikan jalur peningkatan yang lancar. Untuk organisasi yang mengevaluasi peningkatan serupa,Spesifikasi 920-9B110-00FH-0D0DanLembar data 920-9B110-00FH-0D0menyediakan semua parameter desain yang diperlukan, dan unit sudah tersedia (920-9B110-00FH-0D0 untuk dijualmelalui saluran resmi).

Penerapan di dunia nyata ini menegaskan bahwa920-9B110-00FH-0D0lebih dari sekedar produk – ini adalah pendukung yang terbukti untuk jaringan cluster berlatensi rendah dan berefisiensi tinggi, siap memenuhi tuntutan AI dan komputasi ilmiah pada dekade berikutnya.