Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter Buku Putih Teknis

Buku putih teknis ini dirancang untuk arsitek jaringan, insinyur pra-penjualan, dan manajer operasi.Mellanox (NVIDIA Mellanox) MCX623106AN-CDATAdaptor server dan menunjukkan bagaimana membangun jaringan pusat data latensi rendah dan throughput tinggi menggunakan teknologi RDMA / RoCE.strategi penyebaran dan skala, serta operasi dan pemantauan memberikan panduan praktis untuk implementasi dunia nyata.

Pusat data modern menghadapi tiga tantangan utama: CPU menjadi kemacetan jaringan, latensi akses penyimpanan yang berlebihan, dan overhead komunikasi yang tidak terkendali untuk aplikasi terdistribusi.Tumpukan protokol TCP/IP tradisional mengkonsumsi lebih dari 30% sumber daya CPU pada pemrosesan protokol dan penyalinan data selama komunikasi paralel skala besarSementara itu, aplikasi seperti NVMe over Fabrics, kerangka kerja pembelajaran mesin terdistribusi (misalnya, NCCL),dan database dalam memori menuntut sub-20 microsecond end-to-end latencyApa yang sangat dibutuhkan adalah solusi yang melewati kernel dan menyediakan tingkat hardware transportasi offloadMCX623106AN-CDATdigabungkan dengan solusi teknologi RoCE.

Solusi ini mengadopsi topologi Spine-Leaf dua lapisan.NVIDIA Mellanox MCX623106AN-CDATAdaptor Ethernet. Leaf switch dikonfigurasi untuk operasi RoCE tanpa kerugian, memungkinkan PFC (Priority Flow Control) dan ECN (Explicit Congestion Notification),dengan antrian prioritas khusus yang dialokasikan untuk lalu lintas RoCEPrinsip desain utama meliputi:

• Pemisahan pesawat kontrol dan data: Aliran data RoCE diproses sepenuhnya oleh perangkat keras pada adaptor, sementara protokol kontrol (misalnya, ARP, DHCP) masih mengikuti jalur tradisional.
• Kain seragam: Ethernet membawa lalu lintas TCP/IP dan RoCE standar, dengan isolasi QoS dicapai melalui penandaan DSCP.
• Manajemen kemacetan dari ujung ke ujung: Berdasarkan algoritma DCQCN, membangun mekanisme umpan balik loop tertutup antara adaptor sumber dan saklar.

PeraturanKartu adaptor Ethernet MCX623106AN-CDATDesain dual-port 100GbE dapat terhubung ke switch Leaf yang berbeda untuk redundansi atau menyediakan isolasi fisik antara penyimpanan dan lalu lintas komputasi.

Sebagai komponen data bidang inti dari solusi ini,MCX623106AN-CDAT ConnectX adaptor kartu jaringan PCIememberikan kemampuan menentukan berikut:

• Hardware RoCE mesin lepas beban: Mengelola pemrosesan lapisan transportasi (segmentasi, perakitan kembali, pengakuan, retransmisi) tanpa intervensi CPU host.
• Dinamis ConnectX lepas beban: Secara otomatis mendistribusikan lalu lintas multi-antrian, meningkatkan throughput pada server multi-inti.
• Interface host PCIe 4.0 x16: Bandwidth teoritis 256Gb/s, memastikan tidak ada kemacetan untuk penyampaian line-rate.
• Pembuangan penyimpanan lanjutan: Mendukung akselerasi perangkat keras untuk NVMe melalui Fabrics, termasuk pencarian ruang nama dan pemeriksaan integritas data.

MenurutLembar data MCX623106AN-CDATdan tersedia untuk umumSpesifikasi MCX623106AN-CDAT, adaptor ini mencapai latensi port-to-port sub-600 nanosecond dan mendukung kecepatan pemrosesan paket hingga 200 juta paket per detik.Harga MCX623106AN-CDATsangat kompetitif di antara adaptor 100GbE RoCE yang sebanding, danMCX623106AN-CDAT untuk dijualSebelum seleksi, disarankan untuk mengkonfirmasi bahwa model server muncul padaMCX623106AN-CDAT kompatibelDaftar ini berisi semua platform OEM utama yang telah divalidasi.

Deskripsi Topologi Tipikal:
Arsitektur Clos yang terdiri dari 2 switch Spine dan 4 switch Leaf.MCX623106AN-CDAT, dengan kedua port 100GbE terhubung ke dua switch Leaf yang berbeda. port uplink Leaf terhubung ke Spines pada rasio oversubscription 4:1. VLAN khusus digunakan untuk lalu lintas RoCE.

Langkah-langkah penyebaran:

• Langkah 1: Menginstal secara fisikMCX623106AN-CDATke slot PCIe 4.0 x16, kemudian menginstal firmware terbaru dan driver NVIDIA MLNX_OFED.
• Langkah 2: Pada switch, konfigurasi PFC (prioritas 3 direkomendasikan) dan ECN (set Kmin/Kmax) untuk lalu lintas RoCE.
• Langkah 3: Pada sistem operasi, mengaktifkan mode RoCEv2 dan mengkonfigurasi parameter DCQCN (nilai awal: α=1, β=1, periode timer 100μs).
• Langkah 4: Gunakan alat ib_write_bw dan ib_write_lat untuk memverifikasi garis dasar kinerja.

Rekomendasi Skala:Ketika skala cluster melebihi 500 node, pertimbangkan untuk mengaktifkan kontrol aliran adaptor (PPC) dan tabel pemetaan QoS, dan pertimbangkan untuk menggunakan beberapa prioritas RoCE untuk menghindari pemblokiran kepala baris.

Tim operasi dapat menggunakan alat berikut untuk memantau kesehatanSolusi kartu adaptor Ethernet MCX623106AN-CDAT:

• mlxconfig / mlxfwmanager: Mengkonfigurasi parameter firmware dan mengelola upgrade firmware.
• Ethtool -S: Lihat RoCE mengirim / menerima penghitung dan PFC pause frame count.
• Ibdiagnet: Melakukan diagnostik jaringan RoCE yang komprehensif untuk mendeteksi badai PFC yang tidak perlu.
• Telemetri dan HIST: Gunakan tabel distribusi latensi historis yang dibangun di adaptor untuk mengidentifikasi anomali latensi ekor.

Penyelesaian Masalah Umum:

• Throughput di bawah ekspektasi: Periksa status negosiasi PCIe (harus Gen4 x16) dan pastikan MTU diatur secara seragam ke 9000 bingkai jumbo.
• Gagalnya koneksi RoCE: Memverifikasi pemetaan DSCP dan konfigurasi VLAN, memastikan switch tidak menjatuhkan paket yang ditandai RoCE.
• Penggunaan CPU yang tinggi: Ini mungkin menunjukkan hardware offload tidak diaktifkan; periksa pengaturan offload ethtool.

Rekomendasi Optimasi:Untuk aplikasi yang sangat sensitif terhadap latensi (misalnya, perdagangan frekuensi tinggi, replikasi log RDMA),mempertimbangkan mengubah jenis layanan RoCE dari "terhubung" menjadi "datagram" dan menonaktifkan kontrol kemacetan.

Solusi RDMA/RoCE berdasarkanMCX623106AN-CDATmengurangi latensi end-to-end untuk aplikasi terdistribusi dengan urutan besar (dari ratusan mikrodetik hingga puluhan mikrodetik) tanpa mengganti infrastruktur Ethernet yang ada,sementara secara bersamaan membebaskan 20~30% dari sumber daya komputasi CPUUntuk skenario seperti pelatihan AI, penyimpanan hiperkonvergen, dan analisis real-time, ini diterjemahkan langsung ke waktu penyelesaian pekerjaan yang lebih pendek dan kepadatan server yang lebih tinggi.Solusi kartu adaptor Ethernet MCX623106AN-CDAT, menunjukkan bahwa "Ethernet lossless + smart NIC" adalah jalan yang layak untuk mencapai baik throughput tinggi dan latensi rendah.Lembar data MCX623106AN-CDAT, silakan lihat dokumentasi resmi NVIDIA atau hubungi tim arsitektur solusi.