Perbandingan Jaringan HPC: InfiniBand vs Ethernet

Tanggal:12 November 2023

Upaya tanpa henti untuk komputasi eksaskala dan beban kerja AI yang kompleks telah mendorong infrastruktur komputasi berkinerja tinggi (HPC) hingga batasnya. Inti dari evolusi ini terletak pada keputusan arsitektur yang kritis: pilihan fabric interkoneksi. Perdebatan InfiniBand vs Ethernet adalah pusat untuk merancang lingkungan jaringan HPC yang efisien. Dengan akuisisi NVIDIA terhadap Mellanox, seorang pemimpin dalam interkoneksi berkinerja tinggi, persaingan ini telah meningkat, mendorong inovasi dan perbandingan berbasis data yang menarik bagi klien perusahaan dan penelitian.

Kinerja mentah adalah pembeda utama. InfiniBand, yang dirancang khusus untuk lingkungan pusat data latensi rendah, throughput tinggi, memiliki keunggulan yang signifikan.

• Latensi: InfiniBand secara konsisten memberikan latensi end-to-end di bawah 600 nanodetik, yang sangat penting untuk komunikasi MPI (Message Passing Interface) dalam simulasi yang terikat erat. Ethernet, bahkan dengan RoCE (RDMA over Converged Ethernet), biasanya beroperasi dalam rentang mikrodetik (>1,2 µs), yang memperkenalkan hambatan dalam beban kerja paralel.
• Throughput: Meskipun kedua teknologi menawarkan solusi 200G dan 400G, kontrol kemacetan dan perutean adaptif InfiniBand memastikan pemanfaatan bandwidth yang lebih konsisten dan efisien, memaksimalkan kinerja aplikasi.

Untuk aplikasi di mana waktu penyelesaian sangat penting, seperti pemodelan iklim atau pengurutan genom, kesenjangan kinerja ini secara langsung diterjemahkan ke dalam percepatan penelitian.

Di luar metrik dasar, arsitektur InfiniBand memperkenalkan fitur-fitur yang mengubah paradigma yang sulit ditandingi oleh Ethernet.

• SHARP (Scalable Hierarchical Aggregation and Reduction Protocol): Fitur terobosan dari switch InfiniBand Mellanox ini melakukan operasi aritmatika (seperti pengurangan MPI) di dalam fabric jaringan, membebaskan tugas ini dari CPU. Hal ini dapat mempercepat operasi kolektif hingga 50%, sebuah fitur yang tidak tersedia di Ethernet standar.
• Kontrol Kemacetan Asli: Perutean adaptif bawaan InfiniBand secara dinamis mengelola lalu lintas untuk menghindari hotspot. Ethernet mengandalkan protokol tambahan (misalnya, DCQCN) untuk manajemen kemacetan, yang mungkin kurang efisien dan memerlukan penyetelan yang kompleks.

Dominasi Ethernet di pusat data serbaguna menghadirkan kasus yang menarik berdasarkan keakraban dan ekosistem.

• Keberadaan di Mana-mana dan Keterampilan: Ethernet dipahami secara universal, dan sejumlah besar insinyur jaringan akrab dengan manajemen dan pemecahan masalahnya. Hal ini dapat mengurangi biaya operasional dan pelatihan.
• Konvergensi: Satu fabric Ethernet berpotensi membawa penyimpanan, data, dan lalu lintas manajemen, menyederhanakan arsitektur jaringan. Namun, konvergensi ini seringkali memerlukan kebijakan QoS yang kompleks untuk melindungi lalu lintas jaringan HPC yang sensitif terhadap kinerja.
• Biaya: Secara historis, komponen Ethernet membawa label harga yang lebih rendah. Namun, kesenjangan telah menyempit secara signifikan dengan diperkenalkannya Ethernet berkecepatan tinggi dan total biaya kepemilikan (TCO) yang mempertimbangkan kinerja per watt dan kinerja per dolar seringkali lebih menguntungkan InfiniBand untuk kluster HPC khusus.

Pilihan antara InfiniBand dan Ethernet bukanlah masalah mana yang lebih baik secara universal, tetapi mana yang optimal untuk beban kerja tertentu. Untuk lingkungan jaringan HPC murni dan kritis misi—di mana mencapai waktu penyelesaian tercepat untuk perhitungan yang kompleks adalah tujuan utama—InfiniBand, yang didukung oleh teknologi Mellanox, tetap menjadi pemimpin kinerja yang tak terbantahkan. Kemampuan komputasi dalam jaringan yang canggih dan efisiensi yang unggul memberikan ROI yang nyata untuk perusahaan penelitian dan yang didorong oleh AI. Sebaliknya, untuk lingkungan beban kerja campuran atau kluster di mana kinerja ekstrem kurang kritis, Ethernet berkecepatan tinggi menawarkan alternatif yang akrab dan mampu.