Ponorné chladenie vs. Priame-na-chladenie čipov: Čo to znamená pre vaše špecifikácie potrubia

Úvod: Rozhodnutie, ktoré sa stane príliš neskoro

Väčšina inžinierov dátových centier si vyberá technológiu chladenia - ponorením alebo priamym{1}}-čipovaním - na základe cieľovej hustoty stojanov a kapitálového rozpočtu. Špecifikácia potrubia prichádza neskôr, často sa s ňou zaobchádza ako s detailom prevedenia a nie s návrhom. To poradie je chyba.

Kvapalinový systém, ktorý vytvoríte okolo zvolenej architektúry chladenia, nie je zameniteľný. Špecifikácia potrubia napísaná pre priame-na{2}}chladenie chladenia čipom (D2C)-zlyhá - doslova a funkčne -, ak sa dodatočne namontuje na jednofázové ponorenie a naopak. Hustota stojanov GPU v súčasnosti bežne prekračuje 50 kW a pracovné zaťaženie AI sa blíži k 100 kW na stojan, takže špecifikácia potrubia priamo vo fáze schematického návrhu už nie je voliteľná. Jediný únik v systéme D2C môže zničiť celý stojan v hodnote 400 000 USD v hardvéri GPU za pár sekúnd.

Táto príručka je napísaná pre strojných a inštalatérskych inžinierov, ktorí už urobili (alebo robia) rozhodnutie o architektúre chladenia a potrebujú previesť toto rozhodnutie do obhájiteľnej špecifikácie potrubia, ktorá je v súlade s ASHRAE-.

 

 

Priamo na čip kvapalinové chladenie dátového centra GPU rack CDU

 

1. Dve architektúry, dve úplne odlišné logiky fluidnej slučky

Predtým, ako sa dotknete plánu potrubia, pochopte, že ponorné chladenie a D2C fungujú na zásadne odlišných hydraulických princípoch.

Priamo-na-čip (D2C)cirkuluje kvapalina - typicky deionizovaná voda alebo zmes vody-glykolu - cez chladiace platne namontované priamo na CPU, GPU a ASIC. Teplo je absorbované na povrchu čipu a prenášané do jednotky distribúcie chladiva (CDU), ktorá ho vymieňa s vodným systémom zariadenia. Výsledkom je hustá sieť pod tlakom malých-rúrok, rozdeľovačov, rýchlo{6}}odpojovacích armatúr a chladiacich platní, pričom všetky musia súčasne fungovať v hydraulickej rovnováhe.

Jednofázové-ponorné chladenieponorí celé dosky servera do dielektrickej tekutiny - zvyčajne syntetického uhľovodíka alebo umelej tekutiny - vo vnútri nádrže. Teplo sa prenáša zo všetkých komponentov do kvapaliny, ktorá je potom čerpaná cez externý výmenník tepla. Externá potrubná sieť je minimálna: v podstate dve prípojky na nádrž (prívod a spiatočka), ktoré vedú do CDU alebo chladiacej slučky zariadenia.

Architektonický rozdiel je výrazný: D2C rozdeľuje hydraulickú výzvu medzi desiatky spojovacích bodov na stojan; ponorením sa skonsoliduje do jednoduchej, nízkotlakovej- vonkajšej slučky. Všetko po prúde vo vašej špecifikácii potrubia vychádza z tohto rozdielu.

 

2. Výber materiálu potrubia: kde ASHRAE nastavuje hranicu

ASHRAE TC 9.9 a TC 9.6 výslovne uvádzajú materiálovú kompatibilitu. Pre chladiace slučky na báze vody D2C-smernica zakazuje zinok, hliník a mosadz s obsahom viac ako 15 % zinku -, z ktorých všetky urýchľujú galvanickú koróziu v prítomnosti upravenej vody. Z praktického hľadiska to vylučuje štandardné žlté mosadzné armatúry a pozinkované oceľové rúry, ktoré zostávajú bežné v hydronických systémoch HVAC.

Pre slučku technologického chladiaceho systému (TCS) - sekundárna slučka obsluhuje priamo chladiace platne -Nerezová oceľ 304 alebo 316je štandardná špecifikácia. Slučka TCS zvyčajne prevádzkuje deionizovanú alebo vysoko upravenú vodu, ktorá je v skutočnosti agresívnejšia voči korózii ako mestská voda, pretože nemá takmer žiadnu vyrovnávaciu kapacitu. Izolačný ventil na každom stojane, dimenzovaný na prevádzkový tlak systému a vyrobený z nehrdzavejúcej ocele 316, je potrebný na bežnú údržbu aj na núdzovú izoláciu úniku.

V prípade ponorného chladenia sa materiálová výzva úplne posúva. Dielektrická kvapalina je chemicky inertná voči väčšine kovov, ale agresívne napáda elastoméry -, štandardné tesnenia EPDM a Buna{2}}N používané v aplikáciách HVAC napučiavajú a degradujú v priebehu niekoľkých mesiacov po kontakte s dielektrickými kvapalinami na báze uhľovodíkov-. Samotný materiál potrubia (nehrdzavejúca, uhlíková oceľ) je vo všeobecnosti kompatibilný, ale každé tesnenie, O-krúžok a flexibilné spojenie vo vonkajšej slučke musia byť špecifikované ako PTFE alebo fluórpolymérový materiál určený pre konkrétnu používanú kvapalinu.

 

3. Dimenzovanie potrubia, rýchlosť prúdenia a pokles tlaku

ASHRAE TC 9.6 nastavuje maximálnu rýchlosť tekutiny2,1 m/s pre priemer potrubia väčší ako 3 palceaby sa zabránilo erózii na armatúrach a ohyboch. Pod 3 palce je praktický limit bližšie k 1,5 – 1,8 m/s, kým sa hluk a riziko erózie neprijateľne zvýši. Tieto limity platia pre obe chladiace architektúry, ale vytvárajú veľmi odlišné výsledky veľkosti.

V systémoch D2C je prietok diktovaný tepelným zaťažením každej studenej platne. So zvyšujúcim sa TDP čipu (Thermal Design Power) - moderné GPU H100 pracujú s TDP 700 W, pričom s urýchľovačmi novej{5}}generácie sa projektuje na 1 000 W+ -, dopyt po prietoku na chladiacu platňu úmerne stúpa. Rozvádzač s výkonom 50 kW s chladením D2C môže vyžadovať 8 – 12 litrov chladiacej kvapaliny za minútu v rozdeľovacom potrubí rozvádzača, rozloženého na 8 až 16 samostatných chladiacich platní. To vedie k potrebe starostlivého hydraulického vyváženia: paralelné studené dosky musia rovnomerne zdieľať tok, inak budú mať chladiace kapacity najteplejšie triesky -, zvyčajne tie na konci rozdeľovacej vetvy -.

V ponorných systémoch vonkajšia potrubná slučka nesie celú tepelnú záťaž nádrže, ale pri oveľa nižšej rýchlosti a tlaku, pretože hnacím mechanizmom vo vnútri nádrže je konvekcia a nízkorýchlostné čerpanie, nie vynútený vysoký-tlak. Ponorná nádrž s výkonom 250 kW zvyčajne vyžaduje iba 20 – 30 litrov za minútu cez vonkajšiu slučku výmenníka tepla, pri systémových tlakoch zriedka presahujúcich 2 – 3 bary.

Rozhodnutie o nadzemnom verzus podlahovom smerovaní tiež ovplyvňuje dimenzovanie. Pokyny ASHRAE poznamenávajú, že potrubia pod podlahou musia brať do úvahy hrúbku izolácie a vôľu kríženia potrubia -, pridanie 50 mm k priemeru potrubia pri zohľadnení izolačného obalu je bežnou chybou plánovania, ktorá spôsobuje konflikty v koordinácii s rozložením zvýšených-dlaždíc.

 

4. Izolačné ventily, sitá a kontrola úniku: Detail špecifikácie, ktorý chráni dobu prevádzky

Toto je miesto, kde špecifikácie potrubí priamo určujú prevádzkovú odolnosť a kde sa podpisuje väčšina dokumentov so špecifikáciami.

Pre systémy D2C, každý stojan musí mať izolačný ventil na prívodnej aj vratnej nohe, ktorý umožňuje izolovať a vyprázdniť jeden stojan kvôli údržbe bez odstavenia susedných stojanov. Preferovaný typ ventilu pre túto aplikáciu je a3-dielny guľový ventil so závitomz nehrdzavejúcej ocele 304 alebo 316. Konštrukcia trojdielneho -telesa je tu rozhodujúca: na rozdiel od jednodielneho alebo dvojdielneho- ventilu ho možno rozobrať na mieste - bez prerezania potrubia alebo odstránenia tela ventilu z potrubia - na výmenu tesnení alebo čistenie sedla. V prostredí živého dátového centra, kde je prvoradá minimalizácia prestojov stojanov, je táto inline{9}}servisnosť zmysluplnou prevádzkovou výhodou, nie luxusom špecifikácie.

Pred každým rozdeľovačom stojana sa vyžaduje sitko Y z nehrdzavejúcej ocele, ktoré chráni mikro-kanály studenej platne pred kontamináciou časticami. Geometria studenej dosky pre vysokovýkonné{2}}grafické procesory využívajú šírku kanálov už od 0,5 do 1,0 mm; 200-mikrónová častica môže čiastočne zablokovať kanál a vytvoriť lokalizované horúce miesto, ktoré tepelné monitorovanie nemusí zachytiť, kým nezačne škrtenie čipov. Špecifikujte sitká s veľkosťou ôk 50 mikrónov alebo jemnejšie na slučke TCS podľa smerníc ASHRAE TC 9.9 pre kvalitu vody.

Na spätnej vetve spätný ventil z nehrdzavejúcej ocele bráni spätnému toku cez výmenník tepla CDU, keď je stojan izolovaný alebo čerpadlo spustí - udalosť spätného toku, ktorá môže zaviesť teplú kvapalinu do prívodného zberača a zvýšiť teplotu chladiacej kvapaliny v celom rade skôr, než ovládacie prvky zareagujú.

V prípade pripojení servera-k-rozdeľovaču špecifikujte suché{2}}rozpojovacie rýchlo{3}}odpojovacie armatúry s maximálnym povoleným únikom 1 kubický centimeter na jeden cyklus odpojenia v súlade s normami pripojenia OCP (Open Compute Project). Flexibilné hadicové segmenty na týchto spojoch musia byť zaistené dodatočnými svorkami v 150 mm intervaloch, aby sa predišlo poklesu tlaku spôsobenému poklesom- a namáhaniu závitov armatúry.

Pre ponorné systémy, špecifikácia izolácie je jednoduchšia, ale nie triviálna. Každá nádrž potrebuje prívodné a spätné izolačné ventily dimenzované na plný prietok nádrže, plus vzorkovací port na monitorovanie kvality tekutiny. Špecifikujte pripojenia externej slučky z materiálu kompatibilného so špecifickou dielektrickou kvapalinou - a pred dokončením špecifikácie písomne ​​potvrďte kompatibilitu s dodávateľom kvapaliny, pretože patentované formulácie kvapaliny sa líšia.

Kábel na detekciu netesností by mal byť vedený pozdĺž celej dĺžky všetkých prívodných potrubí D2C a mal by byť umiestnený na najnižšom dostupnom mieste každého potrubného žľabu alebo káblového žľabu. V prípade ponorných systémov postačujú bodové-detektory netesnosti snímačov na základni každej nádrže a na jednotke CDU, keďže pripojenie vonkajšieho potrubia je málo a sú-viditeľné.

 

 

3-dielny guľový ventil Leadtek so závitom

 

5. Kontrolný zoznam praktických špecifikácií pred vydaním na stavbu

Predtým, ako špecifikácia potrubia opustí technický tím, overte si nasledujúce skutočnosti v porovnaní s vami zvolenou architektúrou chladenia:

Materiálová zhoda: Všetky zmáčané kovy potvrdené bez obsahu zinku a zliatin hliníka (D2C); všetky elastoméry potvrdené ako kompatibilné s dielektrickou kvapalinovou chémiou (ponorenie)

Kontrola rýchlosti: Maximálne 2,1 m/s pri potrubiach s priemerom väčším alebo rovným 3" podľa ASHRAE TC 9.6

Izolačné ventily: Jeden 3-dielny guľový ventil so závitom na stojan, zásobovanie a vracanie, s-obslužnosťou na linke (D2C)

Hodnotenie sita: Menej alebo rovné 50 mikrónov oka na zdroji TCS, pred každým rozdeľovačom stojana (D2C)

Skontrolujte umiestnenie ventilu: Vratná noha CDU, každá vratná vetva stojana (D2C)

Špecifikácia rýchleho{0}}odpojenia: Suchá-prestávka, rozliatie menšie alebo rovné 1 cm3, v súlade s OCP- (D2C)

Detekcia úniku: Nepretržitý kábel na všetkých napájacích vedeniach (D2C); bodové snímače na základni nádrže a CDU (ponorenie)

Vôľa pod podlahou: OD potrubia plus izolácia plus 50 mm medzera kríženia potvrdená v modeli s prázdnou podlahou

Plán úpravy vody: Špecifický{0}}chemický program pre danú lokalitu bol aktivovaný pred naplnením systému so špecifikovaným protokolom priebežného monitorovania

 

Záver: Špecifikujte potrubný systém tak, aby zodpovedal architektúre chladenia, nie naopak

Rozhodnutie o technológii chladenia a špecifikácia potrubia nie sú postupné kroky -, ide o jediné integrované technické rozhodnutie. Voľba medzi ponorným chladením a chladením D2C nastavuje hydraulickú logiku, materiálové obmedzenia, stratégiu izolácie a profil rizika úniku celého vášho kvapalinového systému. Pokus o prispôsobenie všeobecných špecifikácií hydronického potrubia HVAC jednej alebo druhej architektúre vytvorí systém, ktorý má nedostatočnú prevádzkovú výkonnosť a vytvára zbytočnú údržbu.

Zapojte svoju špecifikáciu potrubia do schematického návrhu spolu s výberom architektúry chladenia. Použite ASHRAE TC 9.6 a TC 9.9 ako základný rámec dodržiavania predpisov a overte každý výber materiálu v porovnaní so skutočným chemickým zložením tekutín vo vašom systéme -, ktorý nie je všeobecným predpokladom „vody“. 30 minút strávených získaním typu izolačného ventilu a sita sita priamo vo fáze špecifikácie ušetrí podstatne viac ako 30 minút pri budúcich prestojoch.

 

FAQ

Otázka: Môžem použiť štandardnú rúrku z uhlíkovej ocele HVAC na priamu chladiacu slučku-na-čipovanie?

Uhlíková oceľ sa používa v okruhoch chladenej vody-na strane zariadenia (FWS), ale nie je vhodná pre okruh s technologickým chladiacim systémom (TCS), ktorý priamo obsluhuje chladiace platne. Slučka TCS prevádzkuje vysoko čistenú vodu s nízkym obsahom iónov, ktorá je korozívnejšia pre uhlíkovú oceľ ako upravená voda HVAC. Špecifikujte nehrdzavejúcu oceľ 304 alebo 316 pre všetky slučkové potrubia a armatúry TCS.

Otázka: Prečo môj výrobca CDU špecifikuje inú veľkosť pripojenia potrubia ako môj dodávateľ chladiacich platní?

CDU a studené platne často pochádzajú od rôznych výrobcov a sú navrhnuté pre rôzne predpoklady vnútorného prietokového odporu. Nesúlad veľkosti pripojenia je problémom hydraulického vyváženia: ak CDU očakáva 10 l/min pri 2 baroch a studené platne spoločne vyžadujú 14 l/min na udržanie teploty spojov čipov, špecifikácie ani jedného dodávateľa nie sú nesprávne -, návrh systému ich nezladil. Hydraulický model celej slučky TCS, od výstupu CDU ku každej studenej platni a späť, by mal byť dokončený pred dokončením akéhokoľvek dimenzovania pripojenia.

Otázka: Ako často by sa mali filtre Y čistiť na chladiacom okruhu D2C?

Počas prvých 90 dní prevádzky kontrolujte sitkové koše raz za mesiac - v nových potrubných systémoch vylučujú častice, keď nátery potrubia vytvrdzujú a armatúry sa usadzujú. Po prestávke-v prípade systémov s uzavretým-cyklom s priebežným monitorovaním kvality vody zvyčajne postačuje štvrťročná kontrola. Ak váš CDU obsahuje snímač rozdielu tlaku cez sitko, nastavte alarm na 0,3 bar delta-P ako základnú hodnotu čistého-koša.

Otázka: Je jednoduchšie špecifikovať potrubie ponorného chladenia ako D2C?

Externá potrubná sieť na ponorné chladenie je výrazne jednoduchšia - menej pripojovacích bodov, nižší tlak a žiadne rozvody na úrovni stojana-. Špecifikácia materiálu je však zložitejšia, pretože kompatibilita s dielektrickými kvapalinami musí byť overená pre každý elastomér, tesnenie a flexibilný konektor v systéme. Spôsob zlyhania nesprávnej kompatibility materiálu v ponornom systéme je pomalý a ťažko sa zisťuje: degradácia tesnenia v priebehu 12 – 18 mesiacov, po ktorej nasleduje postupná strata tekutiny a kontaminácia, a nie okamžitá a viditeľná netesnosť, ktorú vytvárajú systémy D2C.

Otázka: Aká je minimálna výška prázdnej podlahy požadovaná pre chladiace potrubie D2C pod zvýšenou podlahou?

Usmernenie ASHRAE nestanovuje univerzálne minimum, pretože závisí od priemeru potrubia, špecifikácie izolácie a toho, či sa potrubia navzájom krížia. Praktickým plánovacím pravidlom je umožniť najväčší vonkajší priemer potrubia v sérii plus 75 mm izolácie na všetkých stranách, plus 50 mm voľného priestoru nad prekríženými potrubiami plus 25 mm pod podperami. Pre 4- palcové napájacie vedenie s 25 mm izoláciou to poskytuje minimálnu medzeru v podlahe približne o 300 mm - väčšiu ako 250 mm medzera, ktorá je bežná v starých dátových centrách so zvýšenou podlahou, čo je obmedzenie pri dodatočnej montáži, ktoré stojí za to včas identifikovať.