Solusi Teknis Adaptor Server Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT

Solusi Teknis Server Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT: Transport RDMA/RoCE Latensi Rendah dan Peningkatan Throughput Server – White Paper Desain

1. Latar Belakang Proyek dan Analisis Kebutuhan

Pusat data modern sedang mengalami pergeseran mendasar dari arsitektur "berpusat pada komputasi" menjadi "berpusat pada data", didorong oleh pertumbuhan pesat beban kerja AI/ML, sistem penyimpanan terdistribusi, dan platform analitik real-time. Dalam konteks ini, adaptor jaringan tidak lagi menjadi komponen konektivitas pasif tetapi penentu kritis kinerja aplikasi secara keseluruhan. Jaringan tradisional berbasis TCP/IP, dengan keterbatasan bypass kernel dan overhead tumpukan protokolnya, telah menjadi hambatan utama—mengonsumsi hingga 30% siklus CPU sambil gagal memberikan latensi tingkat mikrodetik dan throughput tingkat jalur yang dibutuhkan oleh beban kerja generasi berikutnya.

Secara khusus, tiga tantangan yang saling terkait menuntut respons arsitektural. Pertama, sistem penyimpanan yang memanfaatkan NVMe over Fabrics (NVMe-oF) memerlukan latensi akses di bawah 100 mikrodetik untuk memanfaatkan sepenuhnya media flash modern; latensi yang disebabkan oleh jaringan secara langsung merusak kinerja penyimpanan. Kedua, kerangka kerja pelatihan AI terdistribusi seperti PyTorch dan TensorFlow bergantung pada operasi all-reduce yang sering di antara kluster GPU, di mana throughput jaringan dan jitter secara langsung menentukan waktu penyelesaian tugas. Ketiga, virtualisasi dan kontainerisasi memperkenalkan overhead enkapsulasi tambahan, yang memerlukan offload perangkat keras cerdas untuk mempertahankan kinerja dalam skala besar. Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT secara langsung memenuhi persyaratan ini, menyediakan fondasi yang dibuat khusus untuk jaringan pusat data berkinerja tinggi dan latensi rendah.

2. Desain Arsitektur Jaringan dan Sistem Keseluruhan

Solusi yang diusulkan mengadopsi arsitektur jaringan tulang-daun dua tingkat yang dirancang untuk memaksimalkan kemampuan kartu adaptor Ethernet MCX631102AN-ADAT. Pada lapisan daun, sakelar 25GbE SFP28 menyediakan konektivitas ToR (Top-of-Rack), dengan setiap sakelar daun mendukung hingga 48 port. Lapisan tulang terdiri dari sakelar 100GbE berkapasitas tinggi, memberikan konektivitas apa pun-ke-apa pun yang tidak terblokir. Arsitektur ini dioptimalkan untuk transport RoCE v2 (RDMA over Converged Ethernet versi 2), memanfaatkan mekanisme kontrol kemacetan asli adaptor dan kemampuan PFC (Priority Flow Control) untuk mempertahankan kondisi jaringan tanpa kehilangan.

Setiap node komputasi dan penyimpanan dilengkapi dengan adaptor MCX631102AN-ADAT ConnectX-6 Lx dual-port 25GbE SFP28, dengan port dikonfigurasi dalam mode aktif-aktif untuk menyediakan ketersediaan tinggi dan bandwidth 50GbE gabungan. Server host berinteraksi dengan adaptor melalui PCIe 4.0 x8, memastikan bandwidth bus yang cukup untuk mempertahankan lalu lintas tingkat jalur penuh. Dari perspektif perangkat lunak, arsitektur ini menggabungkan tumpukan driver OFED (OpenFabrics Enterprise Distribution) NVIDIA, menyediakan dukungan RoCE yang dioptimalkan di seluruh sistem operasi utama. Untuk node penyimpanan, arsitektur mengintegrasikan target NVMe-oF yang dapat diakses langsung melalui RoCE, sepenuhnya menghilangkan lapisan TCP/IP dari jalur data.

3. Peran dan Karakteristik Utama MCX631102AN-ADAT dalam Solusi

NVIDIA Mellanox MCX631102AN-ADAT berfungsi sebagai antarmuka jaringan dasar untuk domain komputasi dan penyimpanan, memainkan empat peran penting dalam arsitektur keseluruhan. Pertama, ia berfungsi sebagai mesin bidang data utama, memanfaatkan mesin pengarah yang dipercepat perangkat kerasnya untuk memberikan throughput 25GbE tingkat jalur per port di semua ukuran paket—kemampuan yang divalidasi oleh Spesifikasi MCX631102AN-ADAT, yang menunjukkan latensi aplikasi-ke-aplikasi di bawah 1 mikrodetik ketika dipasangkan dengan sakelar yang mendukung RoCE.

Kedua, adaptor bertindak sebagai titik akhir transport RDMA, membebaskan seluruh tumpukan protokol RDMA—termasuk registrasi memori, terjemahan alamat, dan pemrosesan penyelesaian—dari CPU host. Offload ini sangat berdampak untuk beban kerja penyimpanan, mengurangi pemanfaatan CPU untuk inisiator NVMe-oF dari sekitar 18% menjadi kurang dari 3% dibandingkan dengan implementasi perangkat lunak saja. Ketiga, MCX631102AN-ADAT menyediakan offload overlay berbasis perangkat keras untuk VXLAN dan NVGRE, memastikan bahwa enkapsulasi jaringan virtualisasi tidak menurunkan kinerja—keunggulan penting untuk penerapan cloud-native. Keempat, adaptor mendukung SR-IOV (Single Root I/O Virtualization), memungkinkan hingga 256 fungsi virtual per port untuk isolasi multi-tenant yang efisien tanpa mengorbankan throughput. Solusi kartu adaptor Ethernet MCX631102AN-ADAT terintegrasi mulus dengan teknologi GPUDirect Storage NVIDIA, memungkinkan pergerakan data langsung antara memori GPU dan perangkat penyimpanan NVMe jarak jauh melalui jaringan.

Tabel berikut merangkum spesifikasi teknis utama yang relevan dengan arsitektur solusi:

4. Rekomendasi Penerapan dan Penskalaan dengan Topologi Khas

Untuk penerapan baru, kami merekomendasikan pendekatan penskalaan tiga tingkat. Pada tingkat dasar (skala kecil: 16–32 node), satu kluster sakelar daun dapat menampung semua node komputasi dan penyimpanan, dengan setiap node dilengkapi dengan MCX631102AN-ADAT dan kedua port terhubung ke sakelar daun yang sama untuk agregasi tautan. Pada tingkat menengah (64–128 node), arsitektur harus mengadopsi desain tulang-daun dua tingkat, dengan port ganda setiap node terhubung ke sakelar daun yang berbeda untuk menyediakan kinerja dan ketahanan. Pada skala perusahaan (256+ node), solusi merekomendasikan penerapan arsitektur tiga tingkat dengan segmentasi fabric RoCE khusus, mengisolasi lalu lintas penyimpanan dari lalu lintas komputasi pada lapisan jaringan, dan memanfaatkan sifat MCX631102AN-ADAT yang kompatibel dengan sakelar NVIDIA Spectrum dan sakelar 25GbE pihak ketiga.

Untuk lingkungan yang sudah ada, adaptor menyediakan kompatibilitas mundur yang mulus dengan optik dan kabel 10GbE SFP+, memungkinkan organisasi untuk bermigrasi secara bertahap. Lembar data MCX631102AN-ADAT menyediakan matriks kompatibilitas terperinci untuk platform server utama, termasuk keluarga Dell PowerEdge, HPE ProLiant, dan Supermicro SuperServer. Penerapan adaptor harus dikoordinasikan dengan pembaruan firmware untuk memastikan semua node menjalankan versi firmware minimum yang sama untuk perilaku RoCE yang konsisten. Kami juga merekomendasikan penggunaan persistensi konfigurasi berbasis EEPROM adaptor untuk mempertahankan pengaturan di seluruh reboot sistem, mengurangi overhead operasional selama jendela pemeliharaan.

5. Operasi, Pemantauan, Pemecahan Masalah, dan Optimalisasi

MCX631102AN-ADAT menyediakan kemampuan telemetri dan manajemen yang komprehensif melalui alat MLNX_OFED NVIDIA. Untuk pemantauan, kami merekomendasikan penerapan praktik operasional berikut. Pertama, aktifkan penghitung aliran berbasis perangkat keras untuk memantau pemanfaatan per antrian dan mengidentifikasi hotspot—penghitung ini dapat diakses melalui modul kernel mlx5_core dan dapat diintegrasikan dengan Prometheus atau solusi TSDB lainnya. Kedua, manfaatkan pemantauan PFC (Priority Flow Control) adaptor untuk mendeteksi dan memperbaiki peristiwa kemacetan jaringan sebelum berdampak pada kinerja aplikasi. Ketiga, terapkan peringatan berbasis ambang batas untuk suhu adaptor dan status tautan PCIe untuk mengidentifikasi degradasi perangkat keras secara proaktif.

Untuk pemecahan masalah, diagnostik lanjutan adaptor—termasuk pengujian loopback per port, log pelatihan tautan, dan statistik koalesensi interupsi—memberikan visibilitas terperinci ke dalam masalah kinerja. Kami merekomendasikan untuk menetapkan dasar operasi normal selama penerapan awal, menangkap metrik utama seperti latensi rata-rata, throughput, dan pemanfaatan CPU, untuk berfungsi sebagai referensi untuk perbandingan di masa mendatang. Saat mengevaluasi harga kepemilikan MCX631102AN-ADAT, organisasi harus memperhitungkan penghematan operasional yang berasal dari pengurangan konsumsi CPU dan alur kerja pemecahan masalah yang disederhanakan.

Strategi optimalisasi untuk kartu adaptor Ethernet MCX631102AN-ADAT harus berfokus pada tiga area. Dalam konfigurasi host, sesuaikan ukuran payload maksimum PCIe menjadi 512 byte dan aktifkan moderasi interupsi untuk menyeimbangkan latensi dan efisiensi CPU. Di jaringan, konfigurasikan prioritas PFC secara konsisten di semua sakelar dan adaptor—kami merekomendasikan untuk mendedikasikan prioritas 3 untuk lalu lintas RoCE dan prioritas 0 untuk lalu lintas manajemen. Di lapisan aplikasi, sesuaikan kedalaman antrian RDMA dengan karakteristik beban kerja: antrian yang lebih dalam menguntungkan beban kerja penyimpanan yang padat throughput, sementara antrian yang lebih dangkal mengurangi latensi untuk pemrosesan transaksi yang sensitif. Spesifikasi MCX631102AN-ADAT yang terperinci memberikan panduan spesifik untuk menyetel parameter ini di berbagai platform OS.

6. Ringkasan dan Penilaian Nilai

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT menyediakan solusi arsitektural yang mengatasi tantangan mendasar jaringan pusat data modern: memberikan latensi skala mikrodetik, transport RDMA yang dipercepat perangkat keras, dan throughput 25GbE yang konsisten—semuanya sambil mengurangi overhead CPU host. Dengan berfungsi sebagai antarmuka jaringan terpadu untuk beban kerja komputasi, penyimpanan, dan AI, adaptor menyederhanakan infrastruktur sambil meningkatkan kinerja. Solusi kartu adaptor Ethernet MCX631102AN-ADAT mengurangi konsumsi CPU terkait jaringan sekitar 80%, meningkatkan latensi akses penyimpanan lebih dari 80%, dan memberikan kinerja yang dapat diprediksi di bawah kondisi beban yang bervariasi melalui manajemen kemacetan berbasis perangkat keras.

Dari perspektif nilai bisnis, adaptor memungkinkan organisasi untuk memaksimalkan investasi sakelar 25GbE yang ada sambil memberikan kinerja yang sebelumnya hanya dapat dicapai dengan solusi 40GbE atau 100GbE. Evaluasi MCX631102AN-ADAT untuk dijual secara konsisten menunjukkan ROI positif dalam waktu 12–18 bulan, didorong oleh pengurangan persyaratan jumlah server (karena efisiensi per node yang lebih tinggi) dan overhead operasional yang lebih rendah. Untuk organisasi yang membangun atau memodernisasi jaringan pusat data, MCX631102AN-ADAT mewakili bukan hanya peningkatan inkremental, tetapi perbaikan mendasar dalam efisiensi fondasi jaringan.