眾所周知，液體冷卻比空氣冷卻更有效。但由于冷卻設(shè)施的安裝和管理將會發(fā)生顛覆性變化，以及認(rèn)為沒有必要等多種原因，數(shù)據(jù)中心運(yùn)營商采用液體冷卻的速度很慢。大多數(shù)情況下，采取這種技術(shù)的往往是具有高功率密度的數(shù)據(jù)中心。因此，如果企業(yè)的數(shù)據(jù)中心已達(dá)到要求采用液體冷卻的功率密度級別，那么其日常運(yùn)營將有哪些變化？

而根據(jù)工作人員數(shù)據(jù)中心工作的職業(yè)生涯，液體冷卻可能看起來是一種全新的技術(shù)或相當(dāng)傳統(tǒng)的技術(shù)。“早在上世紀(jì)80年代和90年代，大型機(jī)以及超級計(jì)算機(jī)采用液體冷卻技術(shù)很常見。”Uptime Institute公司首席技術(shù)官Chris Brown表示，“如果數(shù)據(jù)中心管理人員年齡較大的話，他們可能會覺得采用液體冷卻很熟悉，但年輕一代對其應(yīng)用感到擔(dān)憂和緊張。”

GRC公司在休斯敦?cái)?shù)據(jù)中心的冷卻罐

人們往往不愿意將液體冷卻與昂貴的IT資產(chǎn)聯(lián)系在一起。但是，一旦更好地理解和應(yīng)用這項(xiàng)技術(shù)，就會消除其擔(dān)憂和顧慮，因?yàn)樵诤芏嗲闆r下，冷卻硬件設(shè)備的液體實(shí)際上并不是水，也不會造成任何損害。

例如，現(xiàn)代浸沒式和直接為芯片提供冷卻的液體冷卻系統(tǒng)采用的是介電（非導(dǎo)電）的非易燃流體，冷卻分配單元將冷凍液輸送到熱交換器，從而通過浸沒去除熱量。Brown解釋說：“這使IT設(shè)備能夠獲得液體冷卻的好處，如果存在泄漏，也會破壞價值數(shù)百萬美元的硬件。”

對設(shè)施的影響

事實(shí)上，已經(jīng)使用冷凍水設(shè)施的數(shù)據(jù)中心切換到液體冷卻并不會變得更復(fù)雜。“他們已經(jīng)習(xí)慣于處理液壓和冷卻器等問題，并需要對管道的水進(jìn)行處理以防止藻類生長，因?yàn)槿绻�水質(zhì)不好的話，就會堵塞熱交換器中的管路。”冷卻浸沒水箱的水回路可以在現(xiàn)有的活動地板下運(yùn)行，需要額外的結(jié)構(gòu)支撐。

Brown警告說，如果企業(yè)使用機(jī)械制冷裝置而不熟悉液體冷卻運(yùn)作的話，液體冷卻需要更陡峭的學(xué)習(xí)曲線，此外，還需要對數(shù)據(jù)中心運(yùn)營進(jìn)行更多改變。任何冷凍水系統(tǒng)都是如此。

對IT的影響

采用顛覆性液體冷卻技術(shù)取決于企業(yè)IT部門選擇的冷卻技術(shù)類型。美國能源部下屬的勞倫斯伯克利國家實(shí)驗(yàn)室工程師Dale Sartor表示，“后門熱交換器需要的變化很少，后門交換器具有管道連接，它們很靈活，因此可以像以前一樣打開和關(guān)閉后門，而采用液體冷卻只是需要一個更厚、更重的門，但其他技術(shù)和服務(wù)方面幾乎是一樣的。”

同樣，對于直接到芯片的冷卻技術(shù)，機(jī)架后部有一個歧管，將歧管連接到服務(wù)器并冷卻組件。Sartor解釋說，這些管子安裝了無滴漏的連接器。“技術(shù)人員將這個連接器從服務(wù)器上取出，其采用無滴水設(shè)計(jì)，因此他們可以像以前一樣將服務(wù)器拉出來。”

需要注意的一個問題是正確地恢復(fù)連接。“工作人員可能會弄錯管子的方面，因此可能會錯誤地連接，反之亦然。”他警告說。一些連接器采用顏色編碼。而包括微軟、Facebook、谷歌、英特爾在內(nèi)的行業(yè)組織正致力于為液冷服務(wù)器機(jī)架開發(fā)一種開放式規(guī)范，該機(jī)架將引入不可逆插頭以避免此問題。“可以使冷熱水管相互區(qū)分和隔離，以消除人為錯誤，”Sartor說。

采用浸入式冷卻

浸入式冷卻確實(shí)顯著改變了IT設(shè)備的維護(hù)過程和設(shè)備需要。地球科學(xué)機(jī)構(gòu)CGG公司先進(jìn)系統(tǒng)部門的經(jīng)理Ted Barragy表示，該公司已經(jīng)使用GRC公司液體浸沒系統(tǒng)已有五年多的時間。

如果企業(yè)的服務(wù)器供應(yīng)商在發(fā)貨之前沒有進(jìn)行所有更改，則可能需要卸下風(fēng)扇或反向?qū)к墸�以便將主板懸掛在浸入液中。對于具有監(jiān)控冷卻風(fēng)扇速度的BIOS的舊系統(tǒng)，GRC公司等冷卻供應(yīng)商提供風(fēng)扇仿真器電路，但較新的BIOS則不需要。

Barragy說，“網(wǎng)絡(luò)設(shè)備并不總是適合沉浸式冷卻，因?yàn)橛行┊a(chǎn)品是基于塑料的，容易溶化或腐蝕。”實(shí)際上，CGG公司發(fā)現(xiàn)網(wǎng)絡(luò)設(shè)備并不需要采用液體冷卻，因此可以將它們部署在冷卻設(shè)施之外，從而騰出空間來實(shí)施更多計(jì)算。

雖然CGG公司在液體冷卻方面還有一些問題需要解決，但一旦企業(yè)了解了如何調(diào)整數(shù)據(jù)中心架構(gòu)和運(yùn)營以利用它，人們就會認(rèn)為這種技術(shù)是可靠的。Barragy說，“如今，人們采用液體冷卻最大的障礙是心理障礙。”

液體冷卻的IT設(shè)備維護(hù)

工作人員如果更換浸沒在冷卻液中的硬盤或內(nèi)存等組件，則必須將整個主板從液體中取出，但這種措施代價高昂，因?yàn)榭赡芘獊y冷卻布局，或?qū)е吕鋮s液泄漏或流失。

Barragy建議工作人員在拆裝組件時需要穿戴橡膠手套和圍裙，以免液體濺到身上。此外與通常維護(hù)更大的區(qū)別是，工作人員需要在專業(yè)區(qū)域維修IT設(shè)備，而不是直接在機(jī)架中工作。此外，更換組件可能需要更換整個機(jī)箱。

Barragy說，“如果想分批拆解組件的話，其團(tuán)隊(duì)將等到他們有四到五個系統(tǒng)需要維修時工作，這經(jīng)常會讓故障的服務(wù)器離線數(shù)天的時間。”為了縮短維護(hù)時間，Barragy建議提前做好配件準(zhǔn)備。

權(quán)衡利弊

如今，可供選擇的液冷系統(tǒng)供應(yīng)商相對較少，而即使液冷式機(jī)架的開放式規(guī)格系統(tǒng)上市，企業(yè)的IT設(shè)備也需要冷卻設(shè)備供應(yīng)商的產(chǎn)品進(jìn)行匹配。Barragy警告說，“如今的行業(yè)中，沉浸式冷卻供應(yīng)商很少，而可以提供直接芯片冷卻系統(tǒng)的廠商更少，他們都傾向于與硬件供應(yīng)商合作。這意味著一旦企業(yè)的產(chǎn)品被鎖定在制冷供應(yīng)商中，其選擇所需硬件的能力就非常有限。”

另一方面，如果企業(yè)要增加功率密度，則無需重新進(jìn)行復(fù)雜的氣流動力學(xué)計(jì)算或計(jì)算如何在更多機(jī)架上分布負(fù)載。只需將20kW的冷卻油箱切換到40kW冷卻油箱，并保持相同的冷卻液和冷卻液分配單元即可。

其設(shè)備組件維護(hù)變得更復(fù)雜，最好分批完成。“如果有一些IT組件需要維修，需要讓它們干燥一段時間。”Barragy解釋說。而設(shè)計(jì)用于浸沒式系統(tǒng)的主板供應(yīng)商可以輕松處理這些組件。CGG公司可以通過正常的回收渠道處理使用壽命到期的IT系統(tǒng)。

人員的舒適性

聯(lián)想數(shù)據(jù)中心集團(tuán)高性能計(jì)算和人工智能執(zhí)行總監(jiān)Scott Tease表示，采用液體冷卻可能意味著額外的工作，但它也可以帶來更舒適的工作環(huán)境。許多數(shù)據(jù)中心由于采用速度更快的處理器和更多的組件，數(shù)據(jù)中心中的溫度正在成為一個比電源更大的問題。

這意味著企業(yè)需要越來越多的冷空氣來冷卻服務(wù)器。“對更多空氣流動的需求將推動服務(wù)器內(nèi)的能耗，并且加大了機(jī)房空調(diào)的耗電量。此外，空調(diào)噪音也很嘈雜。”

CGG公司用戶的IT員工現(xiàn)在更喜歡在沉浸式冷卻數(shù)據(jù)中心工作。“一旦掌握了這種技術(shù)，數(shù)據(jù)中心將會運(yùn)營更好，也很安靜。”Barragy說，“而配備大量機(jī)房空調(diào)的數(shù)據(jù)中心環(huán)境的噪音在80dB范圍內(nèi)。“

液冷數(shù)據(jù)中心也為內(nèi)部工作人員提供更舒適的空氣溫度。Brown 說，“數(shù)據(jù)中心的冷卻工作都是從機(jī)柜后部進(jìn)行的，熱通道的溫度讓工作人員感覺很熱，而冷通道的溫度也很低，也會讓人感覺不舒適。”