Как охладить видеокарты для майнинга в домашних условиях?

Думаю, если Вы перешли на эту статью значит вы уже знаете, что такое майнинг ферма гораздо лучше нас и вам нет необходимости это объяснять.

Как работает, какие системы бывают и зачем это все делается мы рассматривать в рамках этой статьи не будем.

А теперь поговорим о более насущной проблеме, решение которой оказывается далеко не так тривиально и очевидно, как возможно кажется на первый взгляд.

По результатам наших многочисленных расчетов и испытаний, мы разработали несколько оптимальных вариантов готовых решений систем охлаждения майнинг ферм, на работоспособность которых мы даем гарантию. Ознакомиться с ними вы можете на странице «Вентиляция и охлаждение майнинг ферм от 35 кВт.»

Просто и бесплатно

Как охладить ферму для майнинга, если нет возможность вложить дополнительные средства? Сделайте в помещении сквозняк. Да, температуру за окном нельзя назвать комфортной, но всё-таки это лучше, чем накопленное тепло внутри комнаты. По законам физики нагретый воздух будет стремиться выйти в открытое окно, заменяясь на более прохладный. Тут нужно правильно расположить риг, чтобы воздушный поток от сквозняка проходил конкретно по нему.

Как лучше охладить майнинг ферму дома, но всё ещё бесплатно? Добавить в помещение таз со льдом. Работающие видеокарты являются активными осушителями, а воздух без влаги сильнее нагревается. Обычный лёд можно заменить сухим, так как он испаряется и имеет более низкую температуру. Но придётся периодически заменять это самодельное устройство.

Вентиляция помещения

Окно

Начнем с самого банального и вообще не затратного способа вентиляции комнаты, где расположены фермы.

Лучший способ – это держать открытое окно в комнате. Да, в теплое летнее время года это не даст огромного эффекта, но горячий воздух будет все равно циркулировать по комнате и немного выходить из нее.

Плюс, если Вы откроете полностью дверь комнаты, где расположены риги, получится небольшой сквозняк, который будет выдувать остаточное тепло (жаркий воздух) из комнаты.

Зимой, или просто в холодное время года, открытое окно будет заметно остужать комнату и сами риги. Температуры даже довольно горячих Asus RX570 Dual снизится на 5-6 градусов.

В зимнее время года, с открытой форточкой и температурой воздуха на улице -2 градуса, с условием, что в комнате стоит 4 фермы, температура рига из 6 Asus Rx570 dual (с небольшим дополнительным вентилятором) не превышает 48 градусов!

Также отметим, что в холодное время года сочетание открытого окна и открытой двери комнаты ощутимо заметно охладят ферму. Но также скажем, что и с закрытой дверью эффект будет заметен. Главное при этом, установить фермы так, чтобы они располагались в самом центре сквозняка (холодного потока воздуха).

Вода и лед

Многие майнеры используют для увлажнения комнаты (а как мы все знаем, фермы заметно сильно осушают воздух в комнате) тазы, ведра с водой и льдом из морозилки. Такой способ делает комнату немного свежее (мы бы сказали незначительно).

Некоторые используют немного необычный вариант. Они расставляют тазы с водой по комнате и кладут на подносы или тарелки сухой лед. Как мы знаем, сухой лед имеет довольно низкую температуру (-79°C) и в отличии от обычного льда — сухой лед не тает, а вместо этого испаряется.

Данный способ уже затратный и требует довольно частого вмешательства.

Увлажнитель воздуха

Этот способ требует покупки довольно дорогостоящего оборудования – увлажнителя воздуха.

Это помогает увлажнять комнату, делая ее немного прохладнее. В отличие от предыдущего способа, увлажнитель воздуха будет постоянно работать, а не испаряться естественным путем.

Увлажнитель нельзя ставить рядом с фермами! Его необходимо расположить в противоположном конце комнаты.

Естественно данный аппарат не даст ошеломительного эффекта, но он немного охладит видеокарты и сделает нахождение в комнате благоприятным.

Всё ещё доступно

С автоматическим увлажнителем воздуха проблема с постоянным добавлением льда исчезает. Современные модели снабжены вместительной ёмкостью для воды, благодаря чему могут обеспечивать беспрерывное увлажнение на протяжении даже 12 часов. Но это уже не бесплатный вариант, а всё-таки придётся закупиться таким устройством. Ферма должна стоять на расстоянии более 3 метров от увлажнителя, иначе попытка охлаждения приведёт к короткому замыканию и выходу из строя всего оборудования.

Система вентиляции и охлаждения майнинг фермы

– точнее будет сказать не только вентиляции, а скорее система поддержания необходимого микроклимата помещения, то есть поддержания температуры для бесперебойной и безопасной работы вашего оборудования, как в зимний, так и в летний период года.

Каждый период года для поддержания необходимых параметров климата в помещении для майнинга имеет ряд ключевых особенностей. По своей сути система охлаждения для майнеров на видеокартах и майнеров на асиках принципиально не отличается.

Начнем пожалуй с того, что рассмотрим необходимые параметры микроклимата для одного из наиболее современных моделей оборудования фермы – это асик (asic) Antminer S9.

Платно, но эффективно

Как охладить майнинг ферму летом на балконе, если там и так открытое пространство, но температуры всё равно высокие? Здесь уже поможет 1 или пара вентиляторов. Многие могут сказать, что они не нужны, ведь каждый GPU и так снабжён 2-3 штуками. Это ошибка, так как родные вентиляторы намного меньше, чем тот дополнительный, который можно купить и поставить рядом.

Большой напольник проталкивает воздух под давлением, одновременно вгоняя в риг прохладный, и выводя горячий. Но нельзя давать воздушному потоку идти напрямую на куллер видеокарты, так как это будет мешать их естественному вращению. Впоследствии это может привести к поломке родного вентилятора или ухудшению его работоспособности.

Направление воздушных масс должно быть на бэкплейт. При этом риг надо поставить так, чтобы он сдувал тепло в сторону улицы. Пара советов по выбору вентилятора для майнинг фермы:

• Мощность 50 Вт и выше.
• Большие лопасти.
• Много лопастей.
• Возможность регулировки скорости – быстрее и медленнее.

От дополнительных функций можно отказаться, так как переплачивать за них здесь не имеет смысла, ведь основная задача – охладить. Не забывайте прочищать его 1 раз в месяц, удаляя пыль с лопастей. Раз в полгода может потребоваться смазка оси.

Дополнительные кулеры

На заметку: температурный диапазон для нормальной работы асиков и видеокарт — от 0°С до +60°C в среднем. Если в вашей ферме для майнинга криптовалют несколько этажей, то с каждым следующим температура возрастает. Поэтому расстояние между этажами должно быть 30-40 см — каждая следующая видеокарта вбирает уже нагретый предыдущими картами воздух, температура которого может достигать 70, а то и все 90 градусов.

Между самими картами оставляйте хотя бы по 10 см. Если этого недостаточно и температура все равно повышена, установите дополнительные кулеры и вентиляторы. Напротив каждой из перегретых карт.

Важно: лучше использовать больше вентиляторов, чем выставлять обороты имеющихся на максимум. Именно эта деталь видеокарт для майнинга выходит из строя чаще всего, не перенагружайте ее, оптимальный максимум мощности — 70%. Или используйте дополнительные способы охлаждения.

Если ваша ферма для майнинга находится на балконе и есть возможность дооборудовать ее систему вентиляции, подойдет вытяжной контейнер с дополнительными вентиляторами. Установите его над фермой. Можно подвести к нему гофру, чтобы изолировать выводящийся горячий воздух.

Термопаста

Термопаста — клейкая субстанция, охлаждающая радиатор или процессор и другую электронику. Это один из самых распространенных способов контролировать температурный режим процессоров. Но он нуждается в дополнении одним или несколькими другими способами.

Менять термопасту нужно каждые полгода-год, когда чистите систему охлаждения и вентиляторы для видеокарт.

Красиво и средне эффективно

Как сделать охлаждение для майнинг фермы, при этом не испортив внешний вид конструкции и помещения? Здесь помогут корпусные вентиляторы – по 1 штуке на каждый GPU. Тут не нужно гнаться за дорогими Noctua или чем-то подобным, подойдёт простая вертушка. Далее потребуется придумать крепление таким образом, чтобы поток воздуха от дополнительных куллеров не мешал родным на видеокарте. Также нужно куда-то их подключать.

Располагать их надо в максимальной близости к охлаждаемым элементам. Давление воздуха здесь есть, но только на расстоянии до 15 см.

Как вариант, можно заставить воздушные потоки двигаться внутри рига для майнинга. Для этого, с одной стороны, все куллеры устанавливаются на вдув, а с противоположной – на выдув. Это хороший вариант охлаждения, который поможет сбросить 5-7 градусов. Видеокарта сразу получает прохладный воздух, а тёплый из неё высасывает другой вентилятор. Только отток тепла нельзя делать от фермы в сторону стены, так как это понизит эффективность в разы.

Устройство системы вентиляции майнинг фермы

Классическая система приточной вентиляции с подогревом устроена следующим образом. В ее составе находится следующее оборудование:

1. Вентилятор – обеспечивает поток воздуха с улицы 2. Электрический или водяной нагреватель – для подогрева уличного воздуха до заданной температуры 3. Система фильтрации – предназначена для очистки воздуха от пыли, грязи, насекомых и т.д. Очень важный параметр, чтобы оборудование работало в обеспыленном помещении. 4. Заслонка с электрическим приводом — для открытия/закрытия канала при включении/выключении вентиляции 5. Система автоматики и управления – предназначена для управления и регулирования расходом воздуха и температурой. 6. Система воздуховодов – по ним транспортируется приточный воздух и распределяется в нужные места для максимально эффективной работы

Хорошо охлаждает, но дорого

Поставив в помещении кондиционер, вы навсегда забудете о вопросе, как остудить майнинг ферму. Этот агрегат будет не просто гонять воздух внутри помещения, а делать его намного холоднее. Считается, что при окружающей температуре до 24 градусов видеокарты чувствуют себя наиболее комфортно. И это получится достичь при помощи кондиционера.

Здесь уже придётся потратиться на сам дорогостоящий агрегат и его установку. К тому же, он создаёт дополнительную нагрузку на электросеть, что нужно учитывать при подключении. Учитывайте расходы на кондиционеры даже при подсчёте дохода от добычи криптовалюты, чтобы случайно не уйти в минус.

Виды охлаждения видеокарт

Первое, что приходит на ум при мысли о системе вентиляции и охлаждения майнера — кулеры. Но не воздухом единым — видов охлаждения видеокарт существует два:

1. Воздушный — с помощью вентиляторов и кулеров, которые продувают воздух через рабочие элементы, регулируя их температуру (горячий воздух отводится, холодный нагнетается).
2. Водяной — охлаждение системы за счет трубок с водой или другой жидкостью с хорошей теплопроводностью и теплоемкостью, плюс конструкция пластин-водоблоков из меди и алюминия. Это намного более эффективный, но и более дорогостоящий вариант теплоотвода, в майнинге он также используется, но не всем он подходит из-за затратности. А еще водные системы вентиляции работают тише и выглядят презентабельнее. Но и монтировать их сложнее — под каждую деталь майнинг-фермы, которую нужно охлаждать, требуются свои радиаторы с подходящим типом крепления.

Максимально эффективно, но дорого и сложно

Вариантов, как сделать вытяжку для майнинг фермы, есть несколько. Можно собственноручно почитать интернет, и по роликам пробить техническое отверстие, вставить в него вытяжной вентилятор. Тепло уходить из комнаты будет, но притока свежего воздуха нет. Чтобы обеспечить полноценную циркуляцию и остудить воздух, потребуется более сложная конструкция, сравни производственной. И у неё сразу несколько минусов:

• энергозатраты;
• шум;
• нужна платная помощь специалистов по вентиляции;
• придётся докупить оборудование с охлаждающим агрегатом, каналы и т.п.

Плюс один – хороший приток охлаждённого воздуха и отток тёплого. Но в случае с обычным домашним ригом отрицательные факторы перевешивают положительные. Рассчитайте, во сколько обойдётся работа, какой объём электроэнергии будет потреблять в дальнейшем, и сравните с доходом от добычи крипты. Если расчёты устроят, то можете смело сделать вытяжку.

Параметры климата для работы майнинг фермы

Основные технические характеристики asic antminer s9, которые важны именно с точки зрения теплового режима:

Рис. 1 – Asic Antminer S9

Каждый прибор имеет определенную тепловую мощность. В данном примере мы считаем ее равной потребляемой, то есть 1400 Вт (1,4 кВт). Это тепло из помещения необходимо удалять для того, чтобы температурный режим соответствовал допустимому диапазону. Если избыточное тепло не удалять, то оборудование через какое-то время перегреется и будет отключаться или просто выйдет из строя.

Соответственно, если у вас стоит 100 таких Асиков, то это уже 140 кВт тепла, которые необходимо удалять из помещения.

Как не давать ригу перегреваться

Простые правила, которые облегчат жизнь видеокартам:

• Раз в месяц чистить от пыли всё оборудование рига.
• Поддерживать обороты родного куллера на 60-80%. Лучше добавить внешний вентилятор, чем заставлять крутиться на максимуме постоянно.
• В ночное время открывать окна и создавать сквозняк, чтобы стены и сама конструкция получили приток прохладного воздуха.

Не всегда нужен кондиционер или профессиональная вытяжка. GPU от хорошей компании с предустановленным высокоэффективным куллером, плюс напольный вентилятор и увлажнитель – помогут снизить температуру на 10-15 градусов.

5 2 голоса

Article Rating

Как используют водяные блоки

Для охлаждения видеокарт используют самодельные или готовые решения (водяные блоки). Система охлаждения состоит из нескольких частей:

• пластина, на которую опирается водяной блок;
• полнокамерный водяной блок;
• резервуар с жидкостью;
• насос;
• радиатор;
• вентилятор;
• фитинги, расширители;
• комплект трубок и разветвителей.

После подключения системы к источнику питания, насос прокачивает антифриз из резервуара по акриловой трубке. Под давлением жидкость попадает в водный блок. Там она распределяется по двум ячейкам, снижая температуру GPU и остужая VRM (регулятор напряжения). После этого нагретый антифриз проходит через радиатор с вентилятором и затем возвращается в резервуар. Цикл повторяется заново.

Раньше пользователи использовали водяные блоки только для охлаждения графического ядра. Однако, в производительных видеокартах при разгоне это вызывает перегрев остальных элементов. Поэтому, от охлаждения только GPU пришлось отказаться в пользу иных вариантов.

В 2022 году NVIDIA выпустила универсальный водяной блок EK-FC GeForce GTX FE. Он оказался совместим со 106 видеокартами производителя и был подготовлен в четырех вариантах исполнения. Данное решение отводит тепло от зоны графического ядра, чипа памяти и элементов питания. Подобные модели (их еще называют фуллкаверы) впоследствии появились и для видеокарт AMD Radeon.

Чем привлекает майнеров водяное охлаждение

Домашние майнеры, используя водяное охлаждение, решают сразу несколько проблем:

• исчезает шум, снижаясь до 10-15дБ;
• пыль не забивается в вентиляторы, поскольку они демонтированы и не используются;
• можно разгонять оборудование и повышать хешрейт;
• есть возможность спроектировать ферму собственной конструкции;
• экономия пространства, не нужно выделять отдельное помещение для фермы;
• производители продают готовые варианты для своих видеокарт.

Недостатки водяного охлаждения

Однако у установок с водоблоками есть несколько существенных недостатков, что делает решение не самым рациональным для домашнего майнинга. Среди недостатков выделим:

• опасность протечки жидкости и повреждения электронных компонентов;
• необходимы навыки проектирования и создания собственных конструкций, применительно к фермам;
• модификации производительных видеокарт с водяным охлаждением и сами водяные блоки стоят в несколько раз дороже аналогов на «воздухе»;
• в любом случае потребуется установить радиатор с вентилятором на улице для охлаждения фермы;
• перепродажа б/у видеокарт на «воде» занимает больше времени, чем на воздухе.

Таким образом, водяное охлаждение не решает всех проблем майнеров, гарантируя лишь отсутствие шума, пыли и повышение хешрейта. Поэтому некоторые производители пошли дальше, отказавшись от использования водоблоков в пользу иммерсионного охлаждения, как более выгодного решения для домашнего майнинга.

Ошибки, которые совершают владельцы

Основная цель этой статьи – указать на ошибки Владельцев майнинг ферм, дать точную и подробную инструкцию по исправлению этих ошибок, и рассказать технические аспекты подпора требуемого оборудования. Итак, шаг первый: ошибки.

• Самая распространенная ошибка – не устанавливать систему вентиляции и кондиционирования вообще. Если Вы просто не знали, что это нужно делать, это Вас не опровергает. Незнание не освобождает от ответственности. Первое, что нужно было сделать при покупке серверов – узнать все о них, абсолютно все, что им нужно для эффективной и долгой работы. Если у Вас сгорел уже хоть один сервер – вина ложиться на Вашу неподготовленность.
• Другая не менее популярная ошибка – устанавливать один бытовой настенный кондиционер для всех Ваших майнеров, чтобы сэкономить. Такой кондиционер способен охладить Вашу комнату, или квартиру, но никак не оборудование для майнгинга. Оно нагревается очень быстро и требует специальных расчетов при подборе кондиционера, которые выведут идеальную мощность охлаждения для работы Вашего количества майнеров.
• Ставить кондиционеры намного мощнее, чем нужно, скажем, на будущее, при планах на покупку большего количества серверов. Как Вы думаете, насколько эффективно будут работать Ваши системы, если они будут находится в постоянном переохлаждении и замерзании?
• Ставить охлаждение, но забыть о вентиляции. Вентиляция помещения для майнгинг фермы не менее важна, чем кондиционирование – почему, мы расскажем в следующей главе.
• Устанавливать климатическое оборудование в неправильных местах, использовать не подходящие монтажные элементы, проводить неправильно систему по комнате, некорректно проводить монтаж – это все можно свести к обращению к климатическим специалистам «из гаража», то есть без опыта. Вы вложили огромные деньги в свою майнинговую ферму, а теперь не хотите заботиться о ней? Доведите уже дело до конца, оформите проектные работы под ключ у специалистов, и Ваше детище будет работать неотказно.

Иммерсионное охлаждение высокой мощности

Современные электронные компоненты с каждым годом работают все быстрее. Растут скорости, растет потребление и тепловыделение. Современные тенденции иммерсионного охлаждения процессоров и видеокарт все больше входят в нашу жизнь. На рынке присутствуют множество предложений систем иммерсионного охлаждения, однако при первом знакомстве их принципиальные различия не так легко определить. Мы провели сравнение технологий опытным путем и выявили их недостатки и преимущества.

Перегрев оборудования как бич современной электроники

Каждый знает, что современная электроника работает от электрической силы. В таком устройстве есть либо батарейка, либо его нужно включать в розетку. И всех их объединяет ещё одна общая черта — они нагреваются. Например, современные телефоны активно выделяют тепло при выполнении ресурсоёмких задач: играх, записи видео высокого качества и т.д., а геймеры знают, что для бесперебойной работы их мощных компьютеров нужны большие и производительные кулеры.
Электрический ток от источника питания проходит через микросхемы, состоящие в основном из полупроводников сложной структуры. Полупроводник – это некий материал, который частично проводит электрический ток, а частично нет. Его проводимость зависит от напряжения, температуры и других условий.

Если взять несколько разных полупроводников и расположить их в три слоя, можно добиться неожиданного результата. Если подать напряжение на 1-ый и 3-ий слой, ток через такой “бутерброд” не протекает. А если же пустить совсем небольшой ток по 2-му слою, то между 1-ым и 3-им слоем ток начинает протекать почти беспрепятственно.

Прибор, действующий по указанному принципу, называется транзистором. Сейчас его структура, разумеется, является более сложной, но правило осталось тем же — управление протеканием тока за счёт управляющего затвора. Этот эффект можно сравнить с водопроводным краном. Особое внимание в работе транзистора уделяют процессу перехода из закрытого состояния (ток не течёт) в открытое (ток течёт беспрепятственно). Здравый смысл подсказывает, что переход из одного состояния в другое не может быть моментальным, и занимает хоть и очень короткий, но всё же не нулевой отрезок времени. Именно в момент переключения между этими состояниями ток проходит плохо, что и вызывает нагрев транзистора.

Современные процессоры работают на частотах до 4 ГГц, это означает, что транзисторы в процессоре совершают 4 000 000 000 переключений в секунду! И каждое такое переключение вызывает нагрев прибора.

Именно по этой причине при разгоне процессора (оверклокинге) процесс нагрева проявляется особенно сильно.

Для отвода тепла к поверхности процессора применяют радиатор с вентилятором. Вентилятор продувает рёбра радиатора холодным воздухом и отводит тепло, выделяемое процессором. Такой подход наиболее прост в использовании, поэтому он и получил массовое распространение.

Развитие электроники привело к тому, что с каждым годом скорость процессоров и количество транзисторов стремительно увеличивались, а размер процессора неизменно оставался на прежнем уровне. Сравните процессор Intel 486 со скоростью 33 МГц и современный Intel I7 с скоростью 3,8 ГГц. Размер — тот же, скорость — намного выше, а, значит, выше электропотребление и тепловыделение.

Необходимо отметить тот факт, что для корректной работы транзистора его температура должна оставаться низкой, иначе он начинает проводить электрический ток даже тогда, когда от него это не требуется. Получается, что чем быстрее процессор, тем больше он нагревается, и тем выше шанс того, что транзисторы внутри него будут работать некорректно. Такой эффект наблюдается, например, при оверклокинге и выражается в виде знаменитого “синего экрана смерти”. Когда процессор обнаруживает сбой в собственной работе, ОС останавливает его работу, а пользователю демонстрируется синий экран с информацией о текущем состоянии. Если продолжать эксплуатацию в таком режиме — высока вероятность того, что хотя бы один транзистор из нескольких миллиардов сломается. Это приведет к регулярным сбоям в работе и невозможности использовать такой процессор в дальнейшем.

Именно поэтому так важно использовать хорошие системы охлаждения и эксплуатировать электронику в заданном температурном режиме. Погоня за скоростью может привести сначала к случайным зависаниям, а потом — и к постоянным, с дальнейшей поломкой процессора.

Этот принцип распространяется, в первую очередь, на современные CPU — и особенно GPU. Из-за разницы в архитектуре двух этих вычислительных устройств нагрев GPU получается более сильным — просто потому, что при работе используются почти все транзисторы, имеющиеся внутри. Средняя мощность топового CPU составляет 90 Вт, а GPU — 200 Вт. Поэтому радиаторы современных видеокарт по размеру намного больше радиаторов центральных процессоров.

При охлаждении больших вычислительных мощностей возникают дополнительные сложности. Мощность серверного оборудования, расположенного на одном квадратном метре, крайне высока, и составляет десятки кВт. К тому же необходимо поддерживать постоянный микроклимат, без колебаний температуры и влажности. Рассмотрим внимательно определение слова «влажность»: концентрация молекул воды на единицу объема воздуха; при определенных обстоятельствах влага может конденсироваться и превращаться в воду, которая очень хорошо проводит электрический ток — что очень опасно для электроники. В серверных также имеется ещё один враг — пыль, которая забивает радиаторы и существенно снижает эффективность охлаждения.

Традиционные и альтернативные системы охлаждения

Даже несмотря на все указанные сложности, производители современного серверного оборудования по-прежнему продолжают использовать воздух для отвода тепла. Почти все современные серверные спроектированы под воздушное охлаждение, с разделением на холодные и горячие коридоры. Для обеспечения климатических условий в течение всего года устанавливают мощные климатические установки, в состав которых входит кондиционеры. Такие установки сами по себе потребляют много электроэнергии и, как это не парадоксально, сами же выделяют много тепла. И это решение, к сожалению, распространено массово.
Альтернативные технологии воздушного охлаждения — это фрикулинг. Воздух поступает извне и продувает серверную, свободно уходя наружу. При таком подходе снижаются затраты на оборудование, но данное решение не подходит для жарких стран. К тому же, воздух остаётся запыленным, а его влажность соответствует влажности на улице, что сопровождается колебаниями как влажности, так и температуры внутри объекта.

Иммерсионная система охлаждения

Сравнительно недавно получили популярность технологии иммерсионного охлаждения. Разработки на эту тему велись давно, так как сама технология уже не нова, однако сейчас её востребованность растёт необычайными темпами.
Слово «иммерсионное» означает «погружное». Это значит, что вся электроника, все платы сервера, процессор, видеокарты, блоки питания и жёсткие диски полностью погружены в жидкость. Естественно, что эта жидкость диэлектрик и не проводит ток — иначе работа электроники была бы невозможна. При дальнейшем анализе предлагаемых решений становится ясно, что иммерсионное охлаждение бывает разным, с фазовым переходом и без. Эти типы охлаждения отличаются не только своим физическим принципом, но и обладают существенными различиями при эксплуатации.

Так, минеральное масло использовалось для охлаждения силовых трансформаторов на подстанциях очень давно. Это вещество отличается отсутствием электрической проводимости и достаточной теплоёмкостью. Также можно отметить его низкую стоимость.

Жидкость Novec компании 3M для двухфазного охлаждения, в противовес минеральному маслу, используется относительно недавно. Она тоже не проводит электрический ток и обладает низкой теплоёмкостью. Удивительно, но эффект охлаждения с её помощью достигается за счёт кипения. Для более детального разбора этого явления нам понадобится вспомнить законы физики. Нагрев жидкости происходит за счёт передачи энергии от более тёплого объекта к более холодному. Количество энергии, или количество тепла, измеряется в Джоулях. Один Джоуль — это эквивалент нагрева тела при помощи 1 Вт в течение одной секунды.

Таким образом, видеокарта выделяет 200 Вт * 1 с = 200 Дж тепла, если она проработала всего одну секунду. За минуту карта выделит 200 Вт * 60 с = 12 кДж тепла. Второй вопрос, который возникает при этом — это температура. На сколько изменится температура видеокарты при таком нагреве? Изменение температуры будет зависеть от теплоёмкости того объекта, который мы греем, и его массы. Вполне очевидно, что стакан воды в чайнике закипает намного быстрее, чем полный чайник.

Представим, что мы пытаемся нагреть одной видеокартой 1 литр воды. Вес 1 литра воды составляет примерно 1 кг. Теплоёмкость воды равна примерно 3800 Дж/кг/К. Это значит, что для нагрева воды весом в 1 кг на 1 градус Цельсия потребуется 3800 Дж энергии. Сопоставим это с мощностью нашей видеокарты и получим 12000 / 3800 = 3,15 градусов Цельсия. И это — всего за минуту! Простыми вычислениями можно установить, что через 10 минут вода нагреется на 31°С. Естественно, такой процесс не будет продолжаться вечно. Так что, если пренебречь теплопроводностью материалов, вода нагреется до 85–90 градусов, после чего видеокарта перегреется и зависнет.

Если доработать наш эксперимент и через 10 минут заменить нагретую воду на холодную, то процесс нагрева начнётся заново. В этом случае перегрева карты не наступит. Конечно же, менять воду каждые 10 минут неудобно, и приходит мысль протянуть трубы, по которым будет поступать холодная вода, а нагретая — будет вытекать. Такие жидкостные системы охлаждения существуют и продаются во многих компьютерных магазинах.

Давайте вернёмся к иммерсионному охлаждению минеральным маслом. Для этого в наших расчётах нужно изменить теплоёмкость и массу вещества. Вес 1 литра масла чуть меньше литра воды и составляет 0,85 кг. Теплоёмкость равна 1800 Дж/кг/К. Значит, для нагрева литра масла нужно 0,85 кг * 1С * 1800 Дж/кг/К = 1,5 кДж энергии. Значит, видеокарта за 1 минуту нагревает масло на 12000 / 1500 = 8 °С. Это намного больше 3,15 °С. Однако, у данного метода имеется большое преимущество — ему не нужны трубы для подвода и отвода жидкости к каждой видеокарте. Можно просто положить несколько видеокарт в одну ванну и залить их минеральным маслом.

Проблема перегрева самого масла в нашем случае также никуда не уходит. Как только масло прогреется до температуры видеокарты, оно больше не будет забирать тепло, и начнется перегрев оборудования. Придется опять каким-то образом подавать холодное масло и забирать горячее.

Можно было бы использовать простое решение: большая ёмкость холодного масла и ёмкость для хранения уже нагретого масла. Естественно, установка таких огромных цистерн экономически нецелесообразна, поэтому нам придётся пускать масло по замкнутому контуру и охлаждать его за пределами иммерсионной ванны. Для этого потребуется дополнительная установка радиатора снаружи, где его будет обдувать более холодный воздух. Обеспечение продувки уличным воздухом вполне закономерно: холодного (по сравнению с температурой масла) воздуха на улице много, а горячий воздух уносится ветром.

Но за сколько радиатор охладит 1 м3 воздуха на те же самые 8 градусов? Ведь, произведя расчеты, мы обнаружим, что для охлаждения одной видеокарты необходимо около 1 литра холодного (остуженного) масла в минуту; при этом масло будет успевать прогреваться на 8 градусов. То есть радиатор должен быть таким, чтобы охлаждать холодным воздухом масло как раз на 8 градусов.

Еще один важный элемент, который остался за пределами наших расчетов — это насос. Требования к нему предъявляются намного проще — обеспечить циркуляцию 1 литра масла в минуту. Отдельное внимание нужно уделить вязкости масла. Понятно, что из-за меньшей вязкости 1 литр воды пройдет по трубам и через радиатор намного проще, чем 1 литр масла. То есть нам потребуется либо мощный насос, либо большие трубы и радиатор.

Давайте теперь представим, что теперь у вас не одна, а хотя бы 100 видеокарт. Это уже 20 кВт тепла и 12 000 000 Дж энергии в минуту. Тогда при равных условиях насос должен прокачать уже 100 литров масла в минуту. Представьте, какие же сложности возникают, когда в системе 1000 видеокарт…

Перейдем к двухфазному иммерсионному охлаждению жидкостью Novec. Очень часто можно услышать, что она дорогая, очень летучая, легко испаряется и т.д. Конечно же это так, ведь принцип её действия совершенно иной. При нагреве этой жидкости выше 61°С происходит её испарение. Однако, при этом с ней не происходит ни нагрева, ни охлаждения. При прогревании всего объёма жидкости после запуска по достижении ею 61°С температура просто не повышается. Это кажется абсурдным, однако, это так. Процесс испарения (кипения) сам по себе является очень энергозатратным. Пожалуй, этот процесс можно сравнить с ощущениями человека, который купается летом и выходит из воды. В воде ему тепло, а на ветру становится холодно. Причина этого явления — испарение воды с поверхности тела.

Схожим образом Novec испаряется с горячих поверхностей микросхем и забирает с собой часть тепла. Для испарения 1 г Novec потребуется около 120 Дж. Это значит, что видеокарта 200 Вт испарит за 1 секунду около 2 г жидкости. А за минуту — всего 120 г. Эффективность отвода тепла за счет кипения крайне высока, а размер радиатора для отвода 200 Вт тепла может составлять всего 3-4 см2. Фактически, радиатор практически не нужен. Как и минеральному маслу, данной системе требуется охлаждение жидкости. Для этого вы можете подливать 120 г жидкости из огромной цистерны каждую минуту. С другой стороны, при стоимости жидкости около 100 $ за литр такая цистерна выходит очень-очень дорогим решением. Поэтому совершенно естественно пойти другим путём — организовать замкнутый цикл с внешним охладителем.

Конденсация паров жидкости

Испарение — это переход вещества из жидкого состояния в газообразное. То есть получается, что Novec после закипания не исчезает без следа, а становится газом, который скапливается над поверхностью жидкости в виде тумана. Что, если этот туман охладить? Установим внутри несколько труб и пустим по ним холодную воду. Газ начнет на них конденсироваться и образовывать капли, которые объединятся в струи жидкости и стекут обратно. Таким образом, Novec никуда не будет уходить и останется внутри системы без каких-либо потерь.
Процесс конденсации является полной противоположностью испарению, здесь всё происходит в обратном порядке. Что касается энергии, то её необходимо забирать у газа ровно в том же объеме, что и при испарении. Естественно, холодные трубы будут нагреваться, а мощность нагрева будет ровно такая, которая выделялась видеокартами при кипении.

Для эффективной работы системы двухфазного иммерсионного охлаждения нам нужно постоянно охлаждать трубы. Самое простое и эффективное решение — пустить по ним воду, которая будет охлаждаться радиатором, расположенным на улице. По сравнению с минеральным маслом это выглядит намного проще. Ведь теплоёмкость воды в два раза больше, а объём циркуляции в минуту меньше. Плюс, вязкость воды существенно ниже, и, значит, насос без труда прокачает больший объем воды за единицу времени. Эти факторы позволят использовать более маленький радиатор на улице, более тонкие трубы и менее мощный насос — по сравнению с тем же самым минеральным маслом.

Преимущества иммерсионной системы охлаждения

Обе системы охлаждения — и минеральным маслом, и иммерсионной жидкостью Novec — обладают важным преимуществом по сравнению с воздушным охлаждением. Здесь отсутствует необходимость в дорогостоящих кондиционерах, потребляющих электроэнергию. Кроме того, отсутствует проблема пыли и влажности, как в системах фрикулинга.
Одним из важных параметров дата-центров является коэффициент PUE (эффективность использования электроэнергии), равный отношению всей мощности потребления дата-центра к мощности потребления вычислительных устройств. Для иммерсионных систем этот коэффициент приближается к 1, для воздушных систем с кондиционерами — около 1,5. Различия являются весьма существенными, особенно, если учесть разницу в стоимости оборудования.

Преимущества охлаждения жидкостью Novec перед минеральным маслом

На данном этапе обе системы кажутся одинаковыми с точки зрения характеристик. Но в описанных расчётах мы не учли, что жидкости в иммерсионной ванне не перемешиваются сами по себе. Представим, что мы погрузили видеокарту в минеральное масло и включили её. Слой масла непосредственно рядом с радиатором видеокарты прогреется, а те объёмы масла, которые находятся на некотором расстоянии — нет. В этом случае произойдет локальный перегрев в районе видеокарты. Тогда становится очевидной необходимость обеспечения эффективного перемешивания масла внутри ванны либо при помощи вентиляторов видеокарты, либо каким-то другим способом. Это усложняет конструкцию и требует специальных технических решений.
В двухфазных иммерсионных системах охлаждения с жидкостью Novec такая проблема отсутствует. Она постоянно кипит и сама себя перемешивает — особенно в тех местах, где происходит нагрев. Пузырьки отрываются от радиатора, и на их место поступает новая жидкость.

Вторым важным отличием масла от Novec является горючесть. Novec не горит никогда, её даже используют для тушения пожаров в библиотеках. Масло же легко горит по своей природе, и, плюс, его нельзя тушить водой. Это указано в технических характеристиках любого масла. Температура начала горения составляет порядка 200-400 градусов.

Мы провели серию экспериментов, чтобы удостовериться в описанных ниже выводах. При прогреве масла до 150 °С оно начало дымить, после чего появилось пламя, уверенно разгорающееся с каждой секундой. Дальше, за счёт горения, температура масла начала подниматься на 2 градуса в секунду, а языки пламени становились всё выше и выше. Пламя уже было сложно сбить, а температура, тем временем, продолжала расти.

Аналогичный эксперимент с Novec показал, что жидкость активно испарялась, но нагреть её выше 61 °С так и не удалось. Поджигая пары Novec, добиться их горения также не получилось. Как и написано в спецификации на Novec — материал не горит, не загорается.

Итак, можно ли использовать минеральное масло и его аналоги для эффективного охлаждения электроники — конечно же, да. Будет ли это рискованным с учетом крайне высокой стоимости оборудования? Безусловно. Пожар может возникнуть по многим причинам, а наличие минерального масла в большом количестве может сделать ликвидацию такого пожара крайне сложной, а последствия — катастрофическими.

Жидкость Novec: слабые места

Каковы самые серьёзные недостатки жидкости Novec? Высокая цена, повышенные требования к герметичности иммерсионной ванны, связанные с высокой летучестью жидкости Novec, и сложность конструкции последней. Кроме того, можно отметить необходимость тщательного контроля параметров процесса охлаждения для того, чтобы избежать выкипания жидкости. Плюс, использование жидкости Novec становится экономически оправданным только при использовании специализированных видеокарт с высокой плотностью установки.
При проектировании системы охлаждения необходимо учитывать около 20 различных характеристик. Полные расчёты в обязательном порядке должны учитывать термосопротивление радиаторов и термоинтерфейсов, а также свойства материала и поверхностей теплообменников и радиаторов используемого оборудования.

Прогресс не стоит на месте, уже очевидно, что будущее индустрии — за эффективным иммерсионным охлаждением, а не за воздушным. Остается лишь сделать выбор между сложным и безопасным решением, или более доступным, но рискованным.