NVIDIA Mellanox MCX556A-ECAT Server Adapter Buku Putih Teknis.

NVIDIA Mellanox MCX556A-ECAT Server Adapter Buku Putih Teknis.

1. Latar Belakang Proyek & Analisis Kebutuhan

Pusat data modern sedang mengalami transformasi mendasar yang didorong oleh kecerdasan buatan, komputasi berkinerja tinggi (HPC), dan analisis real-time.Beban kerja ini menuntut kinerja jaringan yang belum pernah terjadi sebelumnya bukan hanya bandwidth mentahAdaptor Ethernet tradisional, yang bergantung pada tumpukan TCP/IP berbasis perangkat lunak, telah menjadi kemacetan yang signifikan,Mengkonsumsi 20~30% dari inti CPU dan memperkenalkan variasi latensi yang tidak dapat diprediksi yang menurunkan kinerja aplikasiUntuk organisasi yang beroperasi dalam skala, inefisiensi ini diterjemahkan langsung ke dalam biaya infrastruktur yang lebih tinggi dan waktu yang lebih lambat untuk wawasan.

Buku putih ini menyajikan solusi teknis yang komprehensif yang berpusat padaNVIDIA Mellanox MCX556A-ECATAdaptor server. Dirancang untuk perusahaan yang ingin memaksimalkan pengembalian investasi 100GbE mereka,Kartu adaptor Ethernet MCX556A-ECATmemberikan RDMA dipercepat perangkat keras melalui Ethernet konvergen (RoCE), memungkinkan lossless, low-latency transport yang mengubah jaringan I/O dari kewajiban menjadi aset strategis.Solusi ini secara khusus dirancang untuk memenuhi tiga tujuan inti: (1) mencapai latensi aplikasi ujung ke ujung sub-10μs, (2) mengurangi overhead pemrosesan jaringan CPU menjadi kurang dari 5%, dan (3) menyediakan dasar yang dapat diskalakan, masa depan untuk 100GbE dan seterusnya.

2. Desain Arsitektur Jaringan dan Sistem Secara Umum

Arsitektur yang direkomendasikan mengadopsi topologi leaf-spine berkinerja tinggi dengan 100GbE sebagai lapisan akses server dan 400GbE uplink ke tulang belakang.MCX556A-ECAT ConnectX adaptor kartu jaringan PCIeArsitektur ini dibangun di sekitar lima prinsip utama:

• Kain Ethernet tanpa kerugian:Memanfaatkan RoCE v2 dengan PFC (Priority Flow Control) dan ECN (Explicit Congestion Notification) di semua switch untuk menghilangkan penurunan paket dan memastikan latensi deterministik untuk lalu lintas RDMA.
• Perangkat keras di mana-mana:Pengolahan lapisan transportasi yang terbebas termasuk checksum offload, segmentasi (LSO/LRO), VLAN tagging, dan RDMA ke adaptor, membebaskan siklus CPU untuk logika aplikasi.
• Aktif-Aktif Redundansi:Menggunakan kedua port QSFP28 dalam mode agregasi link (LACP) untuk bandwidth agregat 200Gb/s dan failover otomatis dengan pemulihan sub-detik.
• Segmentasi lalu lintas:Kelas lalu lintas khusus untuk penyimpanan (NVMe-oF), komputasi (MPI/RDMA), dan lalu lintas manajemen, memastikan QoS yang dapat diprediksi di semua beban kerja.
• Pesawat kontrol yang dapat diskalakan:Manajemen terpusat melalui switch NVIDIA Spectrum dengan telemetri terintegrasi dan otomatisasi melalui API REST dan buku bermain Ansible.

Solusinya sepenuhnyaMCX556A-ECAT kompatibeldengan platform server terkemuka (Dell PowerEdge, HPE ProLiant, Supermicro, Lenovo) dan terintegrasi dengan lancar dengan sistem operasi utama (Linux, Windows Server, VMware ESXi).Arsitektur mendukung NVMe-oF melalui RoCE, memungkinkan penyimpanan terurai bersama dengan latensi mendekati drive NVMe lokal.

3. Peran & Fitur Utama NVIDIA Mellanox MCX556A-ECAT

Sebagai komponen dasar dari solusi ini,NVIDIA Mellanox MCX556A-ECATmelayani tiga peran penting dalam arsitektur:

Spesifikasi teknis utama yang diekstrak dariLembar data MCX556A-ECATmencakup antarmuka host PCIe 3.0/4.0 x16, kemampuan offload yang komprehensif (checksum, LSO/LRO, VLAN stripping/insertion, RSS), dan telemetri canggih per port.Efisiensi daya adaptor (biasanya kurang dari 15W) dan dukungan sistem operasi yang luas menjadikannya blok bangunan yang serbaguna untuk lingkungan yang heterogen.Spesifikasi MCX556A-ECATjuga menyoroti dukungan untuk kompatibilitas 25GbE dan 40GbE, menawarkan fleksibilitas penyebaran untuk lingkungan kecepatan campuran.

4. Rekomendasi Pengerahan dan Peningkatan

Untuk penyebaran greenfield, kami merekomendasikan topologi leaf-spine dua tingkat dengan akses 100GbE dan 400GbE uplink.Kartu adaptor Ethernet MCX556A-ECATdengan kedua port QSFP28 yang terhubung ke switch daun terpisah untuk redundansi. Kain RoCE membutuhkan konfigurasi QoS yang konsisten di semua switchPFC pada prioritas 3 (untuk lalu lintas RDMA) dan prioritas 4 (untuk penyimpanan)Kami merekomendasikan untuk mengalokasikan VLAN khusus untuk RoCE, manajemen, dan penyimpanan lalu lintas untuk menyederhanakan pemantauan dan pemecahan masalah.

Untuk lingkungan brownfield dengan infrastruktur 40GbE yang ada,Solusi kartu adaptor Ethernet MCX556A-ECATKarena adaptor ini kompatibel ke belakang dengan optik 40GbE QSFP+, kabel yang ada dapat digunakan kembali selama upgrade bertahap ke 100GbE.Adaptor juga mendukung switching Ethernet standar tanpa pemasangan RoCE wajib, yang memungkinkan tim untuk menyebarkan perangkat keras pertama dan mengaktifkan kemampuan RDMA secara bertahap saat kain matang dan beban kerja membenarkan transisi.

Skala solusi di luar 50 node memperkenalkan pertimbangan tambahan.Kami merekomendasikan menerapkan strategi manajemen kemacetan RoCE khusus menggunakan switch NVIDIA Spectrum dengan telemetri bawaan dan penyesuaian ambang ECN dinamisUntuk cluster yang melebihi 200 node, pertimbangkan untuk menggunakan pengontrol manajemen kain terpusat (misalnya, NVIDIA Cumulus NetQ) untuk menjaga visibilitas end-to-end dan konsistensi konfigurasi otomatis.PeraturanMCX556A-ECAT untuk dijualmelalui mitra saluran global NVIDIA mencakup garansi komprehensif dan dukungan pembaruan firmware, memastikan keandalan jangka panjang dalam skala besar.

5Operasi, Pemantauan, Penanganan Masalah & Optimasi

Operasi yang efektif dari kain RoCE membutuhkan strategi pemantauan dan pemecahan masalah berlapis-lapis:

• Telemetri tingkat adaptor:PeraturanSpesifikasi MCX556A-ECATtermasuk per-port counter untuk frame PFC, paket ECN yang ditandai, drop frame, dan kesalahan link.mlx5cmd,ettool, atau alat firmware NVIDIA untuk mengekspor metrik ini ke dashboard Prometheus / Grafana.
• Pemantauan Tingkat Switch:Memantau pengisian buffer, penghitungan frame pause, kedalaman antrian, dan tingkat penandaan ECN pada switch tulang belakang dan daun.Peningkatan mendadak dalam frame jeda menunjukkan micro-congestion yang mungkin memerlukan ECN threshold tuning.
• Metrik tingkat aplikasi:Untuk aplikasi RDMA, melacak WR (Work Request) latensi penyelesaian, CQ (Completion Queue) peristiwa kebocoran, dan QP (Queue Pair) kesalahan menghitung menggunakan NVIDIA libibverbs dan rdma-core perpustakaan.

Skenario pemecahan masalah umum dan tindakan yang direkomendasikan:

• kerusakan kinerja RoCE:Memverifikasi PFC diaktifkan pada semua port switch dan bahwa tanda DSCP sesuai dengan konfigurasi switch.Lembar data MCX556A-ECATuntuk memvalidasi pengaturan alokasi buffer terhadap nilai yang direkomendasikan untuk profil beban kerja Anda.
• Kesalahan pembengkakan link atau CRC:Periksa kualitas kabel QSFP28 dan pastikan firmware adaptor diperbarui ke versi terbaru.
• CPU masih tinggi meskipun offload:Konfirmasi bahwa RDMA benar-benar digunakan (tidak kembali ke TCP) dengan memeriksa penghitung driver, log aplikasi, dan keadaan koneksi.
• PFC mati atau badai jeda:Periksa prioritas yang salah dikonfigurasi, dan pastikan bahwa PFC hanya diaktifkan pada kelas lalu lintas RoCE (bukan pada lalu lintas manajemen atau penyimpanan).

Untuk optimasi, kami merekomendasikan parameter penyesuaian berikut berdasarkan validasi laboratorium ekstensif:

• Interrupt coalescing (moderasi):Ditetapkan pada 4×8 μs untuk beban kerja campuran (perdagangan + penyimpanan) untuk menyeimbangkan latensi dan efisiensi CPU.
• RDMA MTU:Tingkatkan ke 4096 byte untuk beban kerja penyimpanan untuk mengurangi overhead protokol dan meningkatkan throughput.
• RSS (Skala Sisi Penerima):Mengkonfigurasi di beberapa core CPU untuk lalu lintas non-RDMA untuk mendistribusikan pemrosesan dan menghindari saturasi single-core.
• ambang ECN:Tetapkan ambang minimum pada 50% buffer dan ambang maksimum pada 80% untuk lalu lintas prioritas 3, disesuaikan berdasarkan pola kemacetan yang diamati.

6. Ringkasan & Penilaian Nilai

PeraturanNVIDIA Mellanox MCX556A-ECATsolusi memberikan nilai transformatif untuk pusat data modern. Dengan menggantikan berbasis perangkat lunak TCP / IP dengan hardware dipercepat RDMA / RoCE,organisasi dapat mencapai pengurangan latensi tingkat aplikasi sebesar 5×10x, mengurangi overhead jaringan CPU dengan lebih dari 80%, dan meningkatkan kepadatan server kontainer dengan 30~50%.Kartu adaptor Ethernet MCX556A-ECATmenyediakan jalur yang hemat biaya untuk mengadopsi 100GbE dengan perlindungan investasi melalui kompatibilitas ke belakang ke 40GbE dan kemampuan offload siap masa depan untuk beban kerja yang muncul.

Ketika menilai total biaya kepemilikan,Harga MCX556A-ECATdiimbangi oleh penghematan operasi yang signifikan: jumlah server yang berkurang (karena pemanfaatan yang lebih tinggi), biaya pendinginan yang lebih rendah (berkat konsumsi daya <15W),dan penghapusan kain InfiniBand terpisah atau kain RDMA eksklusifSolusinya sepenuhnyaMCX556A-ECAT kompatibeldengan ekosistem open-source dan perusahaan utama, termasuk Kubernetes, Apache Spark, TensorFlow, dan VMware vSphere, memastikan penerapan luas di seluruh perusahaan, HPC, dan penyebaran cloud asli.

Untuk skrip penyebaran terperinci, templat konfigurasi, dan laporan benchmark kinerja, silakan lihat resmiLembar data MCX556A-ECATdan portal dokumentasi jaringan yang komprehensif NVIDIA. buku putih ini berfungsi sebagai dasar arsitektur divalidasi, komponen siap produksi,dan manfaatnya dapat diukur.MCX556A-ECAT ConnectX adaptor kartu jaringan PCIetidak hanya adaptor; itu adalah enabler strategis untuk RDMA-siap, throughput-dioptimalkan pusat data masa depan.