Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter Beraksi: Transport dan Server Latensi Rendah Berbasis RDMA/RoCE

Di lingkungan produksi dunia nyata yang menghosting database terdistribusi, klaster inferensi AI, dan penyimpanan hyperconverged, jitter latensi dan overhead CPU yang disebabkan oleh tumpukan TCP/IP tradisional telah menjadi hambatan besar untuk penskalaan. Tim infrastruktur internet skala besar baru-baru ini menyelesaikan peningkatan jaringan komprehensif berdasarkan adaptor server Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT, berfokus pada validasi manfaat nyata dari teknologi RDMA/RoCE untuk transportasi latensi rendah dan peningkatan throughput server. Artikel ini memecah detail penerapan dan hasil utama dari studi kasus ini.

Tim mengoperasikan klaster ribuan server yang menjalankan penyimpanan terdistribusi (Ceph) dan sistem rekomendasi real-time. Selama lalu lintas puncak, setiap node penyimpanan harus menangani ribuan koneksi TCP bersamaan, mengonsumsi hampir 30% sumber daya CPU untuk pemrosesan protokol jaringan, dengan latensi baca/tulis ujung ke ujung sering melebihi 200μs. Selain itu, eksperimen NVMe over Fabrics di seluruh rak, yang kekurangan kemampuan offload perangkat keras, secara konsisten gagal mencapai kinerja flash lokal yang diharapkan. Tim sangat membutuhkan solusi adaptor server yang mampu mendukung RoCEv2, memberikan offload transportasi tingkat perangkat keras, dan secara bersamaan menawarkan throughput tinggi dan latensi rendah.

Setelah evaluasi, tim memilih MCX623106AN-CDAT sebagai mesin jaringan inti. Adaptor ini termasuk dalam keluarga ConnectX-6 Dx. Dengan hanya mengganti adaptor 10GbE lama dengan NVIDIA Mellanox MCX623106AN-CDAT pada setiap node dan menerapkan konfigurasi jaringan RoCE tanpa kehilangan (DCQCN dan PFC), tim meletakkan fondasinya. Untuk sepenuhnya memanfaatkan kartu adaptor Ethernet MCX623106AN-CDAT, node penyimpanan mengaktifkan offload TCO perangkat keras dan agregasi tautan dinamis. Selama penerapan, para insinyur merujuk pada lembar data MCX623106AN-CDAT untuk panduan tentang kemampuan PCIe 4.0 x16 dan dual-port 100GbE, memastikan anggaran tautan dan kompatibilitas backplane. Setelah pengujian, semua server mencapai interkoneksi kompatibel dengan MCX623106AN-CDAT dengan sakelar Leaf-Spine yang ada, tanpa memerlukan penggantian peralatan jaringan inti.

Evaluasi kinerja pasca-peningkatan memberikan hasil yang mencolok. Saat menjalankan beban kerja penyimpanan terdistribusi yang sama, node yang dilengkapi dengan kartu jaringan PCIe adaptor ConnectX MCX623106AN-CDAT menunjukkan:

• Latensi rata-rata ujung ke ujung turun dari 210μs menjadi 18μs (operasi baca NVMe over Fabrics melalui RoCEv2);
• Overhead jaringan CPU turun dari 28% menjadi 4%, membebaskan siklus komputasi untuk aplikasi bisnis;
• Throughput efektif per node mencapai 98,7 Gbps, mendekati forwarding line-rate;
• IOPS tulis acak 4K keseluruhan dari klaster Ceph multi-node meningkat sebesar 3,2x.

Kepala tim mencatat: "Solusi kartu adaptor Ethernet MCX623106AN-CDAT membawa kemampuan RoCE line-rate sejati ke lingkungan kami. Beban kerja campuran yang sensitif terhadap latensi yang sebelumnya tidak terbayangkan kini dapat berdampingan dengan tugas latar belakang pada bidang jaringan yang sama." Selain itu, menurut catatan pengadaan, harga MCX623106AN-CDAT dalam kasus ini mengurangi total biaya kepemilikan (TCO) sebesar 40% dibandingkan dengan adaptor akselerator berbasis FPGA, dan MCX623106AN-CDAT untuk dijual melalui saluran standar secara signifikan memperpendek lini masa proyek. Spesifikasi MCX623106AN-CDAT yang terperinci mengonfirmasi bahwa adaptor memberikan latensi di bawah 600ns dan kinerja wire-rate di semua ukuran paket, yang selaras sempurna dengan persyaratan tim.

Studi kasus aplikasi ini dengan jelas menunjukkan bahwa MCX623106AN-CDAT bukan hanya adaptor Ethernet berkinerja tinggi tetapi juga landasan untuk membangun jaringan pusat data latensi rendah dan throughput tinggi. Arsitektur offload RoCE yang lengkap dan mesin akselerasi perangkat kerasnya mengatasi tantangan inti pemrosesan jaringan yang terikat CPU dan latensi tumpukan protokol. Bagi organisasi mana pun yang ingin membuka throughput server, mengurangi latensi akses penyimpanan, dan bersiap untuk beban kerja AI dan NVMe-oF, Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT menawarkan jalur yang terbukti dan siap produksi ke depan.