Perubahan Thermal Management di era chip Kilowatt

Pada tahun 2023 kita melihat akselerator memasuki kisaran kilowatt dengan hadirnya Superchip GH200 Nvidia. Seperti telah diketahui, bahwa AI menjadi populer beberapa tahun terakhir, Nvidia sedang giat-giatnya memproduksi chip CPU-GPU selama lebih dari dua tahun.

Yang belum kita ketahui adalah bagaimana OEM dan pembuat sistem kan merespons bagian yang padat daya tersebut. Apakah sebagian besar sistem akan berpendingin cairan? Atau, apakah sebagian besar akan tetap menggunakan pendingin udara? Berapa banyak akselerator yang akan mereka coba masukkan ke dalam satu kotak, dan seberapa besar kotak tersebut?

Kini setelah sistem pertama yang berbasis GH200 memasuki pasar, menjadi jelas bahwa faktor bentuk sangat ditentukan oleh kepadatan daya dibandingkan faktor lainnya. Ini pada dasarnya bermuara pada seberapa banyak luas permukaan yang Anda miliki untuk menghilangkan panas.

Beberapa sistem yang tersedia saat ini dari Supermicro, Gigabyte, QCT, Pegatron, HPE, dan lainnya. Memiliki daya hingga sekitar 500 W per unit rak (RU) 1 kW pada MGX ARS-111GL-NHR Supermicro, sistem ini sebagian besar berpendingin udara. Meskipun panas, beban termal masih dapat dikelola untuk dihilangkan, yaitu sekitar 21-24 kW per rak. Jumlah tersebut masih sesuai dengan kapasitas penyaluran daya dan manajemen termal pusat data modern, terutama yang menggunakan penukar panas pintu belakang.

Namun, hal ini berubah ketika pembuat sistem mulai memasukkan lebih dari satu kilowatt akselerator ke dalam setiap sasis. Pada titik ini sebagian besar sistem OEM yang sebagian telah beralih ke pendinginan cair langsung. Gigabyte H263-V11, misalnya, menawarkan hingga empat node GH200 dalam satu sasis 2U.

Itu berarti dua kilowatt per unit rak. Jadi, meskipun sistem seperti DGX H100 berpendingin udara milik Nvidia dengan delapan H100 700 W dan CPU kembar Sapphire Rapids memiliki TDP lebih tinggi yaitu 10,2 kW, sebenarnya sistem ini memiliki kepadatan daya yang lebih kecil yaitu 1,2 kW/RU.

Ada beberapa keuntungan dari pendinginan cair selain perpindahan panas yang lebih efisien dari akselerator yang padat ini. Semakin tinggi daya sistem, semakin banyak tekanan statis dan aliran udara yang Anda perlukan untuk menghilangkan panas dari sistem. Ini berarti menggunakan kipas yang lebih panas dan lebih cepat yang menggunakan lebih banyak daya dalam beberapa kasus, berpotensi mencapai 20 persen daya sistem.