Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter dalam Aksi.

Adaptor Server Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Beraksi | Transport Latensi Rendah RDMA/RoCE & Optimalisasi Throughput Server

Dalam skenario penerapan hibrida bare-metal elastis dan inferensi AI perusahaan Internet skala besar, latensi jaringan dan overhead CPU telah menjadi hambatan kritis untuk meningkatkan utilisasi GPU dan kinerja penyimpanan. Tim infrastruktur membutuhkan solusi yang dapat memberikan latensi sub-mikrodetik untuk pekerjaan pelatihan terdistribusi sambil secara bersamaan mendukung lalu lintas penyimpanan NVMe-oF throughput tinggi—semuanya tanpa memaksa peningkatan biaya pada infrastruktur kabel yang ada. Studi kasus ini menguji bagaimana MCX623106AN-CDAT dari Mellanox (NVIDIA Mellanox) mengatasi tantangan ini dan mengubah jaringan menjadi akselerator komputasi yang sebenarnya.

Latar Belakang & Tantangan: Saat NIC 25G Mencapai Batasnya

Lingkungan produksi terdiri dari lebih dari 1.200 node komputasi yang terbagi di dua zona ketersediaan, menjalankan campuran layanan inferensi online, pelatihan AI offline, dan penyimpanan objek terdistribusi. Adaptor Ethernet 25G yang ada, meskipun memadai untuk konektivitas dasar, berjuang di bawah beban kerja bersamaan. Poin-poin kesulitan utama meliputi:

• Utilisasi CPU Tinggi: Pemrosesan tumpukan TCP/IP berbasis perangkat lunak mengonsumsi hingga 35% inti CPU pada node penyimpanan selama lonjakan I/O puncak.
• Latensi Tidak Konsisten: Latensi ekor (p99) untuk operasi all-reduce terdistribusi sering melebihi 50µs, menyebabkan utilisasi GPU yang kurang optimal selama sinkronisasi parameter.
• Bottleneck Penyimpanan: Lalu lintas NVMe-oF melalui Ethernet yang rentan terhadap kehilangan menderita akibat paket yang hilang, memicu transmisi ulang yang menurunkan throughput efektif hampir 40%.

Setelah mengevaluasi beberapa alternatif—termasuk InfiniBand proprietary dan NIC 25G pesaing—tim memilih NVIDIA Mellanox MCX623106AN-CDAT karena kombinasi uniknya dari akselerasi RoCEv2 berbasis perangkat keras, jalur data yang dapat diprogram, dan kompatibilitas platform yang luas.

Pendekatan Solusi & Penerapan

Strategi penerapan berfokus pada tiga pilar: pengaktifan RDMA/RoCE, aktivasi offload cerdas, dan migrasi armada bertahap. Setiap node komputasi menerima satu kartu adaptor Ethernet MCX623106AN-CDAT, menggantikan NIC generasi sebelumnya tanpa mengubah infrastruktur tembaga/serat 25G yang mendasarinya.

Dari sudut pandang konfigurasi, tim memanfaatkan datasheet MCX623106AN-CDAT untuk menyempurnakan parameter berikut:

• Pengaturan RoCEv2 PFC (Priority Flow Control): Kelas lalu lintas tanpa kehilangan yang didedikasikan didefinisikan untuk penyimpanan (NVMe-oF) dan komunikasi kolektif AI, sementara lalu lintas upaya terbaik tetap pada antrean yang rentan terhadap kehilangan terpisah.
• Offload perangkat keras diaktifkan: Offload terowongan VXLAN/NVGRE, segmentasi checksum, dan LRO (Large Receive Offload) diaktifkan untuk mengurangi intervensi CPU per paket.
• Pemrograman siap DPU: Menggunakan ASAP², tim menerapkan aturan aliran ringan untuk mengarahkan lalu lintas penyimpanan langsung ke titik akhir target NVMe-oF, melewati tumpukan jaringan kernel sepenuhnya.

Validasi kompatibilitas mudah—ekosistem kompatibel MCX623106AN-CDAT mencakup semua model server dalam armada (Dell PowerEdge R750 dan seri Supermicro Ultra), dan node berbasis Red Hat OpenShift dan Ubuntu yang ada mengadopsi driver baru tanpa masalah.

Hasil & Manfaat Terukur

Setelah tiga minggu penerapan produksi di 40% armada komputasi, peningkatan kinerja segera terlihat. Tabel berikut merangkum metrik utama sebelum dan sesudah:

Di luar peningkatan kuantitatif, tim teknik melaporkan pergeseran kualitatif dalam stabilitas operasional. Mekanisme PFC dan ECN (Explicit Congestion Notification) berbasis perangkat keras memastikan bahwa lalu lintas penyimpanan tetap hampir tanpa kehilangan, menghilangkan badai transmisi ulang berjenjang yang sebelumnya memengaruhi SLA aplikasi. Selain itu, kartu jaringan PCIe adaptor MCX623106AN-CDAT ConnectX menangani enkripsi IPSec kecepatan jalur untuk lalu lintas replikasi lintas zona, memungkinkan tim keamanan untuk memberlakukan kebijakan zero-trust tanpa menerapkan alat enkripsi khusus.

Ringkasan & Perspektif ke Depan

Penerapan ini menggarisbawahi bahwa solusi kartu adaptor Ethernet MCX623106AN-CDAT bukan hanya peningkatan NIC inkremental—ini adalah enabler strategis untuk arsitektur pusat data modern. Dengan menggabungkan RoCEv2 yang dipercepat perangkat keras, kemampuan pemrograman yang fleksibel, dan kemampuan offload yang komprehensif, adaptor secara efektif mengubah jaringan Ethernet standar menjadi lapisan infrastruktur latensi rendah dan efisiensi tinggi. Organisasi TI sekarang berencana untuk memperluas penerapan ke semua node yang tersisa dan secara aktif mengevaluasi spesifikasi MCX623106AN-CDAT untuk desain Spine-Leaf 50G generasi berikutnya.

Bagi arsitek infrastruktur dan manajer TI yang menghadapi langit-langit kinerja serupa, MCX623106AN-CDAT menawarkan jalur yang menarik dan terbukti. Seperti yang dicatat oleh seorang arsitek senior: "Kami mencapai latensi yang lebih baik daripada NIC 25G kami sebelumnya dengan separuh biaya CPU, dan kami tidak perlu memasang ulang kabel satu rak pun." Dengan ekosistem kompatibel MCX623106AN-CDAT yang luas dan posisi harga MCX623106AN-CDAT yang kompetitif, adaptor ini sangat siap untuk menjadi pilihan default untuk penerapan 25G RoCE—baik beban kerja tersebut adalah pelatihan AI, penyimpanan terdistribusi, atau analitik waktu nyata.

Tag: MCX623106AN-CDAT ｜ NVIDIA Mellanox ConnectX-6 Dx ｜ Penerapan RDMA/RoCE ｜ Jaringan Latensi Rendah ｜ Optimalisasi Throughput Server