Peningkatan Latensi Rendah RDMA/RoCE dan Throughput Server

April 28, 2026

Peningkatan Latensi Rendah RDMA/RoCE dan Throughput Server

Makalah teknis ini menyediakan referensi desain yang komprehensif untuk arsitek, insinyur pra-penjualan, dan pemimpin operasi yang berpusat pada NVIDIA Mellanox MCX631432AN-ADAB. Solusi ini mengatasi tantangan pusat data modern—yaitu, beban CPU dari tumpukan jaringan lama, latensi penyimpanan yang tidak konsisten, dan pemanfaatan bandwidth 25GbE yang kurang optimal—dengan menerapkan kartu adaptor Ethernet MCX631432AN-ADAB sebagai landasan fabrik RDMA/RoCE berkinerja tinggi yang terkonvergensi.

1. Latar Belakang Proyek & Analisis Persyaratan

Jaringan pusat data konvensional mengandalkan TCP/IP untuk lalu lintas komputasi dan penyimpanan, memaksa CPU untuk memproses setiap paket. Dalam lingkungan yang menjalankan basis data terdistribusi, NVMe-over-Fabrics (NVMe-oF), atau beban kerja pelatihan AI, pendekatan berbasis perangkat lunak ini menciptakan tiga masalah mendasar: latensi tinggi dan bervariasi (seringkali melebihi 50µs untuk operasi penyimpanan), beban CPU yang signifikan (30–60% untuk pemrosesan jaringan), dan penggunaan bandwidth fisik yang tidak efisien karena overhead protokol. Seiring 25GbE menjadi kecepatan lapisan akses standar, inefisiensi ini tidak dapat diterima lagi. Persyaratan target untuk solusi ini adalah: latensi penyimpanan ujung ke ujung di bawah 5µs, pemanfaatan CPU kurang dari 10% untuk I/O jaringan, dan pemanfaatan kecepatan jalur penuh dari dua port 25GbE per server.

2. Desain Arsitektur Jaringan/Sistem Keseluruhan

Arsitektur yang diusulkan mengadopsi topologi spine-leaf dua tingkat dengan Ethernet tanpa kehilangan di Lapisan 2. Node komputasi dan penyimpanan didistribusikan secara merata di seluruh switch leaf, masing-masing dikonfigurasi dengan PFC (Priority Flow Control) dan ECN (Explicit Congestion Notification) untuk mengaktifkan RoCEv2. Keputusan arsitektur utama adalah menerapkan adaptor MCX631432AN-ADAB ConnectX-6 Lx dual-port 25GbE SFP28 pada setiap server, menyediakan konektivitas jaringan dan offload perangkat keras untuk RDMA. Antrean prioritas berbasis DSCP khusus dialokasikan untuk lalu lintas RoCE, terpisah dari lalu lintas IP upaya terbaik. Manajemen terpusat menggunakan Cumulus Linux atau SONiC NVIDIA untuk konfigurasi switch, sementara orkestrasi sisi host memanfaatkan tumpukan NVIDIA OFED.

3. Peran & Fitur Utama NVIDIA Mellanox MCX631432AN-ADAB

Dalam solusi ini, MCX631432AN-ADAB berfungsi sebagai pengaktif kritis—mengubah server komoditas menjadi node latensi rendah dan throughput tinggi. Berdasarkan lembar data MCX631432AN-ADAB, adaptor ini menggabungkan beberapa kemampuan canggih:

  • Offload RDMA Perangkat Keras: Mesin status RoCEv2 penuh dalam silikon, menghilangkan pemrosesan transportasi berbasis perangkat lunak.
  • Dual-port 25GbE SFP28: Mendukung kabel optik aktif dan DAC, dengan pemrosesan PPS independen per port.
  • Antarmuka host PCIe 4.0 x16: Memberikan bandwidth dua arah hingga 200Gbps, tidak meninggalkan hambatan antara adaptor dan memori host.
  • Offload enkripsi inline: Pemrosesan IPsec dan TLS pada kecepatan jalur, penting untuk jaringan penyimpanan zero-trust.
  • Akselerasi NVMe-oF: Antrean perintah berbasis perangkat keras dan penempatan data yang dioptimalkan khusus untuk NVMe/TCP dan NVMe/RoCE.

Menurut spesifikasi MCX631432AN-ADAB resmi, adaptor memberikan latensi perangkat keras di bawah 800ns dan mendukung hingga 200 juta pesan per detik. Ketika dikombinasikan dengan pustaka RDMACM sumber terbuka, aplikasi dapat beralih dari soket TCP ke verb RDMA dengan perubahan kode minimal. Bagi organisasi yang mengevaluasi solusi ini, penting untuk dicatat bahwa daftar server MCX631432AN-ADAB yang kompatibel mencakup semua platform OEM utama (Dell PowerEdge, HPE ProLiant, Lenovo ThinkSystem, dan Supermicro) dengan driver bersertifikat untuk RHEL, Ubuntu, Rocky Linux, dan Windows Server.

4. Rekomendasi Penerapan & Penskalaan

Penerapan tingkat rak yang khas mengikuti pola ini: setiap node komputasi atau penyimpanan menerima satu solusi kartu adaptor Ethernet MCX631432AN-ADAB, dengan dua portnya dikonfigurasi dalam pengikatan LACP aktif-aktif untuk redundansi atau sebagai jalur fabrik terpisah (satu ke leaf-A, satu ke leaf-B). Topologi fisik sederhana:

  • Setiap server → dua tautan 25GbE → dua switch leaf terpisah (mendukung failover tanpa henti).
  • Switch Leaf → uplink 100GbE → dua switch spine untuk non-blocking full-mesh.
  • Penandaan DSCP khusus (misalnya, 46) untuk lalu lintas RoCE di semua switch dengan PFC diaktifkan pada kelas tersebut.

Untuk penskalaan di luar 200 server, kami merekomendasikan penerapan kluster RoCE terpisah untuk penyimpanan dan komputasi masing-masing, atau menggunakan kebijakan QoS untuk memastikan lalu lintas RoCE penyimpanan diprioritaskan. Penyetelan buffer di switch leaf juga penting: ukuran buffer bersama per port harus ditingkatkan menjadi 12MB untuk port 25GbE untuk menyerap micro-burst tanpa kehilangan paket. Organisasi dapat merujuk ke katalog vendor MCX631432AN-ADAB untuk dijual untuk harga volume, dan harga MCX631432AN-ADAB per node biasanya teramortisasi dalam enam bulan karena penghematan CPU dan peningkatan efisiensi penyimpanan.

5. Operasi, Pemantauan & Penyetelan Kinerja

Setelah penerapan, alat dan praktik berikut memastikan latensi rendah yang berkelanjutan:

  • Pemantauan sisi host: Gunakan mlx_perf dan ethtool -S untuk melacak penghitung RDMA per antrean, transmisi ulang PCIe, dan tanda kemacetan RoCE.
  • Telemetri switch: Aktifkan PFC watchdog dan histogram penandaan ECN untuk mendeteksi head-of-line blocking sebelum memengaruhi produksi.
  • Rekomendasi penyetelan: Atur irqbalance untuk mengisolasi inti CPU untuk antrean penyelesaian RDMA; tingkatkan ukuran permintaan baca maksimum PCIe menjadi 4096 byte; nonaktifkan ECN pada antrean upaya terbaik untuk menghindari sinyal kemacetan palsu.
  • Siklus hidup firmware dan driver: Berlangganan catatan rilis NVIDIA OFED; kartu adaptor Ethernet MCX631432AN-ADAB mendukung peningkatan firmware di tempat tanpa reboot host karena bank gambar ganda.

Untuk pemecahan masalah, penghitung kesalahan bawaan adaptor (misalnya, kesalahan simbol, kegagalan integritas tautan lokal) memberikan diagnostik cepat. Saat berintegrasi dengan model switch baru, periksa matriks interoperabilitas MCX631432AN-ADAB yang kompatibel yang dikelola oleh NVIDIA.

6. Ringkasan & Penilaian Nilai

Solusi berbasis NVIDIA Mellanox MCX631432AN-ADAB memberikan nilai terukur di tiga dimensi: kinerja, TCO, dan kesederhanaan operasional. Dengan memindahkan pemrosesan transportasi, enkripsi, dan protokol penyimpanan dari CPU ke adaptor, organisasi mencapai latensi NVMe-oF di bawah 5µs sambil membebaskan lebih dari 40% siklus CPU untuk logika aplikasi. Desain dual-port 25GbE mengamankan konektivitas server di masa depan, dan tumpukan perangkat lunak NVIDIA OFED yang matang mengurangi risiko integrasi. Bagi arsitek yang merencanakan penerapan 25GbE baru atau memodernisasi infrastruktur yang terikat TCP yang ada, solusi teknis ini—berpusat pada MCX631432AN-ADAB ConnectX-6 Lx dual-port 25GbE SFP28—mewakili jalur yang terbukti, dapat diskalakan, dan dilindungi investasinya menuju kesuksesan RDMA/RoCE.