Makalah Teknis Adaptor Server NVIDIA Mellanox MCX653106A-HDAT

Buku putih teknis ini ditujukan untuk arsitek jaringan, insinyur pra-penjualan, dan manajer operasi.jaringan pusat data latensi rendah menggunakanNVIDIA Mellanox MCX653106A-HDATserver NIC, dengan fokus pada transportasi RDMA/RoCE dan keuntungan throughput server yang terukur.

Beban kerja pusat data modern – termasuk kain penyimpanan NVMe-oF, pelatihan AI terdistribusi, perdagangan frekuensi tinggi, dan analisis real-time – menempatkan tuntutan ekstrim pada infrastruktur jaringan.Pengolahan tumpukan TCP/IP tradisional memperkenalkan tiga kemacetan mendasar: overhead CPU yang tinggi (sering melebihi 50% dari siklus inti), latensi variabel karena keterbatasan bypass kernel, dan penurunan throughput efektif dari overhead pemrosesan protokol.Organisasi membutuhkan solusi yang memberikan bandwidth line-rate dengan sub-microsecond latency sementara membebaskan sumber daya CPU untuk aplikasi logikaKeperluan utama termasuk RDMA yang tidak terisi perangkat keras, transportasi RoCE tanpa kerugian, integrasi mulus dengan kain Ethernet yang ada,dan alat operasional yang komprehensif untuk pemantauan dan pemecahan masalah.

Arsitektur yang diusulkan mengadopsi topologi Clos (spine-leaf) dua tingkat yang dioptimalkan untuk transportasi RoCE.Enhanced Transmission Selection) dikonfigurasi untuk menjamin perilaku tanpa kerugian untuk lalu lintas RDMA. switch tulang belakang memungkinkan non-menghalangi komunikasi apapun ke setiap seluruh kain.Kartu adaptor Ethernet MCX653106A-HDAT, yang terhubung ke switch daun melalui port 100GbE ganda yang dikonfigurasi dalam ikatan aktif-aktif.Arsitektur memisahkan lalu lintas RDMA (dedicated priority queue with PFC enabled) dari lalu lintas TCP/IP biasa (best-effort queue)Segmentasi VLAN mengisolasi domain RDMA sementara routing menangani komunikasi lintas subnet jika diperlukan.

PeraturanMCX653106A-HDAT ConnectX adaptor kartu jaringan PCIeDibangun pada arsitektur ConnectX-6 dengan antarmuka host PCIe 4.0 x16,memberikan dua port 100GbE (atau single-port 200GbE) throughput dengan sub-600ns latency di bawah beban kerja RDMAFitur utama yang dimanfaatkan dalam desain ini meliputi:

• Perangkat keras RDMA & RoCE Offload:Pengisian penuh kata kerja RDMA, menghilangkan keterlibatan CPU host untuk pergerakan data. Mendukung kedua RoCE v1 dan v2.
• NVMe-oF akselerator:Logika perangkat keras yang mempercepat perintah NVMe, mengurangi latensi akses penyimpanan lebih dari 80% dibandingkan dengan target perangkat lunak.
• Jalur data yang dapat diprogram (ASAP2):Memungkinkan pemrosesan paket yang fleksibel dan pengurangan beban jaringan overlay (VXLAN, GENEVA).
• Multi-Host & GPU Direct RDMA:Komunikasi peer-to-peer langsung antara GPU di seluruh node tanpa intervensi CPU sangat penting untuk cluster AI.
• Telemetry & Kontrol kemacetan:Pemantauan aliran berbasis perangkat keras, penandaan ECN, dan pembatasan tingkat dinamis.

Insinyur meninjauLembar data MCX653106A-HDATakan mencatat dukungan untuk faktor bentuk standar dan OCP 3.0, cakupan sistem operasi yang komprehensif (distribusi Linux dengan MLNX_OFED, Windows, ESXi), dan kompatibilitas server yang luas.Spesifikasi MCX653106A-HDATjuga mengkonfirmasi konsumsi daya maksimum 75W dan suhu operasi dari 0°C hingga 55°C, cocok untuk penyebaran kepadatan tinggi.

Penyebaran mengikuti pendekatan bertahap.

Langkah-langkah penyebaran:

1. Tahap 1 Validasi:KonfirmasiMCX653106A-HDAT kompatibelServer, firmware switch, dan versi kernel OS.Lembar data MCX653106A-HDAT.
2. Langkah 2 Mengerahkan paket driver MLNX_OFED (versi minimum 5.8) di semua node. Aktifkan modul kernel RDMA dan RoCE.
3. Langkah 3 Konfigurasi kain:Aktifkan PFC (prioritas 3 untuk RDMA) dan ETS pada switch daun.
4. Langkah 4 RoCE Setup:Mengkonfigurasi masing-masingKartu adaptor Ethernet MCX653106A-HDATdengan RoCE v2 (diarahkan) atau v1 (tidak diarahkan). Atur GID mode ke RoCE v2 dengan IPv4 alamat.
5. Langkah 5 Verifikasi:Jalankan ib_write_bw dan ib_send_lat tes antara node untuk memvalidasi bandwidth dan latency.Perfekturdanmlnx_perf.

Untuk skala di luar 16 node, transisi ke topologi spine-leaf dengan switch spine redundant yang mendukung hingga 128 node.Solusi kartu adaptor MCX653106A-HDAT Ethernetskala linear tanpa rekonfigurasi kain, karena RoCE menggunakan ECMP untuk distribusi beban di beberapa jalur.

Pengoperasian lingkungan RDMA/RoCE yang efektif membutuhkan alat khusus.

• Deteksi kemacetan:Memantau bingkai jeda PFC per port menggunakan telemetri switch (misalnya, Mellanox SHARP). Tingkat jeda yang tinggi menunjukkan incast atau micro-burst yang membutuhkan penyesuaian kontrol aliran.
• Performance Baseline:Penggunaanmlx5cmddanEthtool -SUntuk mengumpulkan penghitung RDMA per antrian, melacak penyelesaian dan retransmisi yang tidak teratur.
• ECN & DCQCN Tuning:Aktifkan Pemberitahuan Kongestion Eksplisit (ECN) pada saklar dan konfigurasi Parameter Kontrol Kongestion Dinamis (DCQCN) padaMCX653106A-HDATpengemudi (misalnya,dcqcn_r_ai=40,dcqcn_r_hai=10)).
• Analisis log:Tinjauan/var/log/pesanuntuk kegagalan koneksi RDMA (misalnya, mlx5_core: gagal membuat QP).
• Pembaruan Firmware:Perbarui firmware NIC secara teratur melaluiMlxfwmanager.Spesifikasi MCX653106A-HDATmerekomendasikan firmware baseline dari xx.36.1010 atau lebih baru untuk kinerja RoCE optimal.
• Perencanaan KapasitasUntuk organisasi yang memperkirakanHarga MCX653106A-HDATdanMCX653106A-HDAT untuk dijualDiskon volume, tingkat pertumbuhan proyek untuk lalu lintas RDMA dan rasio oversubscription switch plan (biasanya 3: 1 untuk kain penyimpanan).

Skenario pemecahan masalah umum: latensi satu arah tinggi dengan kehilangan paket nol seringkali menunjukkan ambang ECN yang salah dikonfigurasi atau pengaturan PFC asimetris.Mlx_qosuntuk memverifikasi mode kepercayaan dan pemetaan DSCP ke prioritas di semua elemen jaringan.

PeraturanNVIDIA Mellanox MCX653106A-HDATserver NIC menyediakan dasar siap produksi untuk menyebarkan jaringan RDMA/RoCE berkinerja tinggi.

• Kinerja:Hingga 200Gb / s throughput per adaptor dengan sub-mikrosekund latensi, memungkinkan penyimpanan skala-out dan beban kerja komputasi terdistribusi sebelumnya dibatasi oleh TCP overhead.
• Efisiensi:Hardware offload mengurangi konsumsi CPU yang terkait dengan jaringan dari > 50% menjadi kurang dari 15%, membebaskan core untuk pemrosesan aplikasi.
• TCO:PeraturanSolusi kartu adaptor MCX653106A-HDAT Ethernetmengurangi jumlah node yang diperlukan untuk target throughput yang diberikan, menurunkan modal dan biaya operasional.Harga MCX653106A-HDAT, pertimbangkan periode pengembalian 9-12 bulan dari peningkatan efisiensi saja.
• Kesiapan Masa Depan:Dukungan untuk PCIe 5.0 (kompatibel ke belakang) dan pemrograman melalui DOCA memastikan perlindungan investasi karena kecepatan pusat data bermigrasi ke 200/400GbE.

Untuk arsitek yang mencari pola desain yang diuji produksi, solusi ini terintegrasi dengan mulus ke dalam operasi Ethernet yang ada sambil membuka potensi penuh RDMA.Lembar data MCX653106A-HDATUntuk pedoman pengadaan, termasuk saat iniHarga MCX653106A-HDATdanMCX653106A-HDAT untuk dijualwaktu lead, kontak resmi NVIDIA Mellanox distributor mitra.