Solusi Teknis NVIDIA Mellanox MCX556A-ECAT: RDMA/RoCE untuk Transportasi Latensi Rendah dan Optimalisasi Throughput Server

Makalah teknis ini ditujukan untuk arsitek jaringan, insinyur pra-penjualan, dan manajer operasi. Makalah ini berfokus pada NVIDIA Mellanox MCX556A-ECAT dan menyediakan kerangka kerja sistematis untuk membangun jaringan pusat data berkinerja tinggi dan latensi rendah menggunakan teknologi RDMA dan RoCE.

Beban kerja pusat data modern—termasuk penyimpanan terdistribusi (Ceph, Lustre), basis data dalam memori (Redis, Aerospike), dan kerangka kerja pelatihan AI—menuntut throughput tinggi dan latensi sub-milidetik. Tumpukan TCP/IP tradisional memperkenalkan overhead CPU yang signifikan, peralihan konteks, dan penyalinan data, yang menjadi hambatan saat kecepatan jaringan mencapai 100Gb/s dan seterusnya. Persyaratan utama untuk infrastruktur generasi berikutnya meliputi: offload CPU (mengurangi pemanfaatan prosesor host), latensi ultra-rendah dan dapat diprediksi (terutama untuk latensi ekor), transportasi tanpa kehilangan untuk protokol penyimpanan (NVMe-oF, iSER), dan integrasi mulus dengan infrastruktur Ethernet yang ada. MCX556A-ECAT secara langsung mengatasi setiap persyaratan ini.

Arsitektur yang direkomendasikan mengadopsi topologi leaf-spine dua tingkat dengan Ethernet tanpa kehilangan yang dikonfigurasi untuk transportasi RoCE (RDMA over Converged Ethernet). Semua node komputasi dan penyimpanan dilengkapi dengan kartu jaringan Ethernet MCX556A-ECAT, yang terhubung ke switch leaf melalui tautan 100GbE QSFP28. Switch spine mengagregasi lalu lintas lapisan leaf, menyediakan bandwidth inti non-blocking. Prinsip arsitektur utama meliputi:

• Pemisahan bidang kontrol dan data: RoCEv2 mengenkapsulasi RDMA dalam UDP/IP, memungkinkan perutean melintasi batas Lapisan 3.
• Priority Flow Control (PFC): Memungkinkan perilaku tanpa kehilangan untuk kelas lalu lintas RDMA.
• Enhanced Transmission Selection (ETS): Menjamin bandwidth untuk aliran yang sensitif terhadap latensi.
• Notifikasi kongesti: Menggunakan DCQCN (Data Center Quantized Congestion Notification) untuk kontrol aliran ujung ke ujung.

Arsitektur mendukung lingkungan bare-metal dan virtual, dengan SR-IOV menyediakan passthrough langsung fungsi virtual ke VM.

Sebagai kartu jaringan PCIe adapter MCX556A-ECAT ConnectX, adapter ini berfungsi sebagai landasan solusi. Mesin offload berbasis perangkat kerasnya melewati kernel, memungkinkan transfer data memori-ke-memori langsung. Fitur-fitur penting meliputi:

Bagi tim yang meninjau lembar data MCX556A-ECAT dan spesifikasi MCX556A-ECAT, perlu dicatat bahwa adapter mendukung PCIe 3.0 dan 4.0 (x16), memastikan kompatibilitas mundur dengan server yang ada sambil menawarkan jalur migrasi ke platform generasi berikutnya.

Penyebaran referensi untuk kluster berukuran sedang (hingga 200 node) dijelaskan di bawah ini. MCX556A-ECAT dipasang di slot PCIe setiap server, dengan konektivitas dual-port untuk redundansi dan agregasi bandwidth.

• Topologi fisik: Dua switch spine, empat switch leaf. Setiap leaf terhubung ke semua spine (full mesh). Setiap server terhubung ke dua leaf (ikatan aktif-aktif).
• Konfigurasi RoCE: VLAN khusus untuk lalu lintas RoCE. Penandaan QoS berbasis DSCP (misalnya, DSCP 46 untuk RDMA). PFC diaktifkan pada prioritas 3.
• Manajemen buffer: Konfigurasikan buffer ruang kepala tanpa kehilangan per port berdasarkan waktu bolak-balik dan jarak tautan.
• Pengalamatan: Gunakan penetapan IP statis atau reservasi DHCP untuk antarmuka RDMA. Pastikan frame jumbo (MTU 9000) ujung ke ujung.

Penskalaan di luar 200 node: Perkenalkan lapisan super-spine dan sebarkan BGP-EVPN untuk ekstensi Lapisan 2 di berbagai pod. Verifikasi optik dan kabel yang kompatibel dengan MCX556A-ECAT dari vendor yang memenuhi syarat (misalnya, Mellanox, FS.com). Saat mengevaluasi harga MCX556A-ECAT untuk pengadaan skala besar, pertimbangkan harga bundel dengan switch dan optik.

Operasi efektif dari fabrik berbasis RoCE memerlukan pemantauan proaktif dan alat khusus:

• Pemantauan kinerja: Gunakan mlxlink dan ethtool untuk statistik tautan (BER, kesalahan FEC). Solusi kartu jaringan Ethernet MCX556A-ECAT NVIDIA mencakup telemetri melalui PCM (Performance Counters Monitor).
• Deteksi kongesti: Pantau paket yang ditandai ECN dan frame jeda PFC menggunakan telemetri switch (misalnya, MIB SNMP Mellanox). Tingkat frame jeda yang tinggi menunjukkan tekanan buffer.
• Manajemen firmware & driver: Perbarui secara teratur ke versi terbaru dari NVIDIA OFED. Gunakan mstflint untuk validasi firmware.
• Pemecahan masalah umum: Untuk kegagalan koneksi RDMA, verifikasi konsistensi MTU, keanggotaan VLAN, dan pemetaan DSCP ke CoS. Gunakan ibdev2netdev dan rdma link show untuk memeriksa status perangkat.
• Tips optimalisasi: Sesuaikan parameter DCQCN (alpha, beta, timer peningkatan laju) berdasarkan beban kerja. Untuk beban kerja penyimpanan, tingkatkan kedalaman antrean penyelesaian. Untuk pelatihan AI, aktifkan GPUDirect RDMA dan pin memori.

Untuk perencanaan kapasitas, rujuk ke lembar data MCX556A-ECAT untuk spesifikasi termal dan daya (tipikal 15W). Adapter ini banyak MCX556A-ECAT dijual melalui distributor resmi, termasuk program stok suku cadang.

MCX556A-ECAT memberikan nilai terukur di tiga dimensi: kinerja (pengurangan latensi aplikasi hingga 90%, peningkatan throughput 4x), efisiensi (offload CPU 70%, daya lebih rendah per Gb/s), dan total biaya kepemilikan (infrastruktur terkonsolidasi, pengurangan jumlah server, biaya pendinginan lebih rendah). Organisasi yang menerapkan NVIDIA Mellanox MCX556A-ECAT sebagai bagian dari solusi berbasis RoCE dapat mengharapkan ROI dalam waktu 6-12 bulan, tergantung pada intensitas beban kerja. Untuk pusat data generasi berikutnya yang mengadopsi AI, HPC, atau penyimpanan yang ditentukan perangkat lunak, adapter ini mewakili fondasi yang terbukti dan dapat diskalakan. Untuk memulai, minta lembar data MCX556A-ECAT dan validasi konfigurasi yang kompatibel dengan MCX556A-ECAT dengan vendor switch Anda.