Иммерсионное охлаждение в майнинге. Срок окупаемости и кому оно точно необходимо

Переход на иммерсионное охлаждение набирает обороты в майнинге. Компания GagarinHub растет в этом направлении с 2020 года. Своим мнением об иммерсии поделился Константин Михалкин, который возглавляет хаб с января 2023 года и не так давно рассказывал нам об облачных дата-центрах.

— Как выбрать оборудование для иммерсионного охлаждения?

— Изначально, Иммерсионное охлаждение – это один из способов обслуживания и поддержки работы оборудования. Суть любого вычислительного оборудования в том, что через микросхемы, содержащие микротранзисторы на микрокристалле проводится электричество, и за счет электрических сигналов происходят некоторые вычисления. Проведение сигналов приводит к нагреву транзисторов. Как результат сами транзисторы и все вокруг – платы, контакты и т. д. – начинают нагреваться. Для избежания пожара и выхода из строя оборудования и необходимо охлаждение. 

Существует три метода охлаждения: воздушный, водный и иммерсионный. Наиболее современный из них – это иммерсионное охлаждение, при котором оборудование погружается в специальную жидкость. Вопрос подбора оборудования связан с необходимостью подсчитать сколько тепла в моменте надо отводить от оборудования.

— Когда есть смысл перехода на иммерсионное охлаждение?

— Нормальная конфигурация иммерсионной установки – это примерно 24 ячейки. Соответственно, необходимо оборудование в том же количестве. Смысл перехода на иммерсию есть, если говорить про промышленные масштабы. Сейчас объясню в двух словах: представляем себе аппарат Antminer S9, который “съедает” пару киловатт. Если оборудование в два раза больше, то будет потребляться уже не три, а все семь или восемь кВт. В будущем мы придём к аппаратам, которые будут потреблять 10-15 кВт. То есть воздушное охлаждение с таким объемом теплоотведения в принципе никогда не справится. Поэтому уже сейчас есть смысл переходить на иммерсию в том числе по ряду других причин, о которых мы поговорим далее.

Водяной тип охлаждения (жидкостный) также эффективен, но надо понимать, что он конфигурируется непосредственно под конкретный аппарат, т. е. универсального способа охладить другой аппарат не будет. А иммерсия – это универсальное решение, которое под размер и объем теплоотведения может принимать любое устройство.

— Какие факторы влияют на эффективность иммерсионной жидкости?

— При подборе конфигурации оборудования для иммерсионного охлаждения важно понимать какая будет пропускная система и какой теплосъем должен происходить. Также под все эти задачи иммерсионной установки подбирается одно оборудование, т. к. к нему необходим подвод электричества. Также рассчитывается мощность автоматов, их ампераж, сечение проводов и т. д. Т. е. это комплексный расчет, где мы не упираемся только в жидкость или приборы охлаждения. Если говорить именно про подбор жидкости для охлаждения и конфигурацию эффективной установки оборудования, то тут есть определенные требования, но они намного ниже, чем у воздушного охлаждения.

Таким образом, мы подходим к выбору конфигурации оборудования. В первую очередь необходимо сухое помещение без пыли и с хорошей вентиляцией. Эти требования значительно ниже чем в классических дата-центрах. Дело в том, что жидкость заливается в саму ванну, которая может быть открытого либо закрытого типа. И нельзя допустить попадания в иммерсионную жидкость пыли и влаги. Жидкость должна быть диэлектрической и любое изменение ее состава может привести к негативным последствиям: это и статика, и изменение ее свойств работы. Поэтому мы комплексно подходим к тому, чтобы обеспечить условия для работы этой установки в месте ее монтажа.

— Правда, если оборудование “полетит” в иммерсионной жидкости, то производитель откажется менять его по гарантии?

— Совершенно верно. Оборудование, которое сейчас погружается в иммерсию, часто рассчитано на условия эксплуатации на “воздухе”. И если его погрузить в иммерсию, то производитель гарантии на такой случай не дает. Однако, и у нас, и у наших партнеров по иммерсии есть сервисные центры, в которых как раз учитываются особенности эксплуатации в иммерсионной установке. В случае ремонта и модификации оборудования используются соответствующие термопасты, которые не вымываются в иммерсии, и компоненты оборудования предназначенные для погружения. И здесь уже можно говорить про гарантию.

Мы от себя и наш партнер от себя даем гарантию на отремонтированное и обслуженное для иммерсии оборудование. Сейчас сами производители начинают выпускать оборудование специально под иммерсию. Пример – тот самый Whatsminer, у которого все под иммерсию изначально рассчитано. Их представители, компания MicroBT, посещали нашего партнера, компанию Octava, и проверяли производимое ими оборудование и иммерсионную жидкость на пригодность эксплуатации этого оборудования. И подтвердили, что при эксплуатации в их установках и их жидкостях гарантия MicroBT на оборудование для иммерсии будет распространяться.

— Можно ли погружать б/у-шные асики или только новые?

— На самом деле можно. Б/у-шное оборудование погружать можно с некоторой оговоркой. Перед погружением его нужно полностью промыть. Чаще всего для этого используются химические средства и ультразвуковые ванны. Конечно, лучше погружать новые, но б/у-шные тоже можно. В этом случае важно удалить всю пыль, чтобы она не забивала диэлектрическую жидкость. Это самое первое и основное. Также перед погружением б/у-шного оборудования во время обслуживания нужно сразу поменять пасты, потому что стандартные “воздушные” пасты обычно вымываются в иммерсии.

— Какая жидкость заливается в ультразвуковые ванны?

— В ультразвуковые ванные заливается специальная химическая жидкость для очистки, потом оборудование промывается обычной водой. Некоторые аппараты, к примеру S17, эту процедуру даже не переживают, поэтому этого с ними лучше и не делать. Но, например, S19 таким образом, можно привести в состояние, как будто он только сошел с конвейера. Хотел бы добавить, что на самом деле это трудоемкая и довольно дорогостоящая процедура. Но если речь идет о предпродажной подготовке или о необходимости погружения в иммерсию, то это целесообразно. А так, конечно, есть обычные способы очистки оборудования.

— Какое оборудование кроме whatsminer-ов изначально производится под иммерсию?

— На данный момент не могу ничего назвать, потому что первый и самый актуальный, под кого мы делали экономический расчет, это whatsminer, специализированный под иммерсию. К тому же они подтвердили гарантию при использовании установок Octava.

— Какие этапы нужно выполнить при переходе на иммерсионное охлаждение?

— Основное, что требуется для установки иммерсионного оборудования, – это выполнить расчет по емкости теплоотведения. Нужно понимать сколько с оборудования надо снимать тепла и какую электрическую мощность и по какой стоимости надо подводить для работы оборудования. Дальше под эти требования надо подобрать соответствующее помещение. Необходимо чтобы рядом имелись доступ к воде для пополнения внешнего контура и электричество в необходимом объеме. 

Дальше нужно привести к стандартным требованиям помещение, чтобы не было пыли и излишней влаги. Далее – монтаж самого оборудования. Осуществление этих этапов значительно проще, чем при установке воздушных систем, даже при установке тех же контейнеров. Единственное дополнительное требование, которое мы имеем – это доступ к воде. 

В иммерсионную установку после монтажа вовнутрь заливается диэлектрическая жидкость, если мы говорим про двухфазные установки. По внутреннему контуру гоняется диэлектрическая жидкость, которая как раз не проводит электричество и снимает тепло с плат. Через теплообменник на внешний контур она его отдает. Во внешнем контуре обычно используется самая обыкновенная вода, которая охлаждается через драйкулеры или градирню, в зависимости от требуемого объема отведения. Затем вода возвращается обратно. Таким образом есть два замкнутых контура: по внутреннему тепло отводится от аппарата к теплообменнику, а по внешнему – от теплообменника отводится на утилизацию. Естественно, во внешнем контуре вода немного испаряется, поэтому ее требуется немного добавлять. 

— Какие особенности имеют однофазное и двухфазное иммерсионное охлаждение?

— Двухфазное охлаждение сейчас применяется редко из-за сложности технологического процесса и дороговизны жидкости. Суть двухфазного охлаждения в том, что на в местах сильного нагрева оборудования, то есть на чипах, жидкость закипает, что сопровождается резким понижением температуры, чипы охлаждаются, жидкость превращается в пар. Пар попадает на специальные конденсоры, остывает, конденсируется и стекает в установку. Жидкость имеет температуру кипения 61 градус по Цельсию. Система полностью герметична. И, как следствие – система сложная и дорогая. К тому-же в ней используется специальная фторкетоновая жидкость, которая тоже сильно дороже. Зато, как плюс – высочайшая эффективность. 

В однофазном охлаждении оборудование работает полностью погруженное в диэлектрическую жидкость. Жидкость циркулирует по внутреннему контуру с помощью насосов, для охлаждения прогоняется через теплообменник и никогда не доводится до кипения, то есть все время находится в одном агрегатном состоянии. Соответственно, жидкости подбираются с высокой точкой кипения. Резервуар для однофазной системы может быть и открытым. С теплообменника, по внешнему контуру тепло снимается водой, которая охлаждается драйкулерами или градирней.

Градирня – это установка, в которой воздушно-капельным путем распыляется горячая вода. Оседая, она охлаждается за счет температуры “воздуха”, и дальше собирается уже охлажденная и возвращается обратно в контур. Примером градирни в большом промышленном масштабе являются ТЭЦ. Большие широкие круглые трубы, из которых идет пар – это и есть градирня в большом промышленном масштабе. Горячая вода там охлаждается, поэтому оттуда идет пар. В иммерсии используются градирни куда меньшего масштаба, они подбираются под необходимый объем теплоотведения.

— Какие виды иммерсионной жидкости существуют и какие их преимущества и недостатки?

— Существует два основных вида иммерсионной жидкости: синтетическое и на минеральной основе. Наш партнер компания Oktava поставляет жидкость на минеральной основе, оно самое оптимальное для работы оборудования. 

Синтетическая жидкость немного лучше, но при этом в шесть раз дороже, соответственно она не настолько лучше, насколько дороже. Минеральной жидкости более чем достаточно, чтобы выполнять все задачи, связанные с иммерсионным охлаждением. 

В принципе, диэлектрической жидкостью может являться все, что не проводит электричество, хоть обычное подсолнечное масло, единственное, нужно смотреть, чтобы эта жидкость позволяла снимать нужный объем тепла и имела определенные свойства, которые не будут агрессивно воздействовать на компоненты оборудования.

Следует отметить, что некоторые жидкости имеют присадки, которые снижают статическое электричество. Важно оговориться, что не каждой жидкости может подойти данный дополнительный компонент. Бывали случаи, когда диэлектрическая жидкость после добавления такой присадки становилась электрической, токопроводящей. Ocktava не афиширует состав собственных разработок, однако, заявляет все необходимые характеристики и дает на это гарантию.

— Как правильно подготовить оборудование для работы в иммерсионной жидкости?

— При работе в иммерсии некоторые провода могут трескаться, термопаста вымываться и т. д. Тогда приходится менять термопасту на ту которая не вымывается в иммерсии и при этом обладает всеми необходимыми требованиями теплосъема. 

Что касается проводов, то некоторые виды их изоляции дубеют. Это связано с тем, что они не рассчитаны на работу при постоянной температуре 45℃. Решение для этого существует и оно заключается в том, чтобы использовать провода в силиконовой изоляции, но разница в стоимости между проводами с силиконовой оболочкой и обычной примерно раз в восемь. За эти деньги обычные провода можно поменять столько же раз. Мы приходим к выводу, что не жидкость нужно специально выбирать для целей иммерсионного охлаждения, а скорее надо определенным образом подготовить оборудование, выбрать компоненты и расходники под использование в иммерсии.

— Для каких видов оборудования подходит иммерсионное охлаждение, какие требования к ним предъявляются?

— С помощью иммерсионного охлаждения можно охлаждать не только асики, но и сервера, что мы и делаем в нашем параллельном проекте – в облачном дата-центре. Мы погружаем сервера с видео-картами в иммерсионное оборудование, за счет чего в принципе меняются экономические показатели эксплуатации и монтажа. И мы предоставляем услугу облачного дата-центра на конкурентных условиях именно за счет того, что используем иммерсию.

— Как часто нужно менять иммерсионную жидкость?

— В регламенте по обслуживанию от компании Octava прочистка теплообменника и фильтрация жидкости предусмотрены раз в полгода. Поэтому иммерсионную жидкость несколько лет можно не менять вообще. При соблюдении всех условий эксплуатации свойства жидкости со временем резко и сильно не меняются. 

Разница между “воздухом” и иммерсией в том числе и в обслуживании. Для “воздуха” – это регулярная замена фильтров, прочистка оборудования от мелкодисперсной пыли и т. д. В иммерсии – это всего лишь промывка теплообменника и фильтрация диэлектрической жидкости.  Это не долгое и не дорогостоящее мероприятие. Конечно, также нужно проверять аппараты, управляющие механизмы, насосы, автоматику, щитки и т. д. Вот в принципе и все обслуживание.

— Существует ли на данный момент конкурентный рынок поставщиков иммерсионной жидкости либо это монополия одного производителя?

— Есть конкурентный рынок, но мы предпочитаем работать с производителем установок. У него это рассчитано в комплексе и используемая жидкость, и материалы, сейчас в том числе предоставляется премиум-линейка оборудования из алюминия, которое обеспечивает полное отсутствие статики, что немаловажно. И под эти установки, и под эксплуатируемое в них оборудование производитель предоставляет соответствующие жидкости. Ко всему дается гарантия. Как я уже говорил,  производители оборудования, тот же MicroBT для серии whatsminer-ов с иммерсией проверяет производителя на пригодность к эксплуатации их установок и жидкостей с их оборудованием.

— Как обеспечить безопасность и надежность работы иммерсионного охлаждения в разных климатических зонах?

— Каких-то специальных условий для разных климатических зон не существует. Есть просто общий базовый расчет, где берется среднегодовой показатель по температуре и берется расчет по месяцам, т. к. есть разброс – холодный или горячий месяц.

В этих условиях нужно обеспечивать определенное охлаждение в жидкости, то есть она будет сниматься с оборудования с определенной температурой и должна обратно подаваться на контур при определенной температуре. Вот эту разницу температур нужно обеспечить. Исходя из этого у нас получается определенный объем прокачиваемой жидкости во внешнем контуре и мощность установки охлаждения.

— Как оценить затраты и срок окупаемости перехода на иммерсионное охлаждение?

— Любые затраты коммерческого характера, их целесообразность и окупаемость рассчитываются универсально. Здесь важно учесть не только разовые вложения, но и стоимость эксплуатации во времени. Например, если рассчитать энергоэффективность воздушной системы, то дополнительно тратится 30% электричества. Также стоит учесть стоимость обслуживания, фильтры, строение горячих и холодных коридоров, драйкулеров и т. д. То есть считаем все в комплексе. Могу привести случай с гарантийного обслуживания из нашего опыта: как только у  контейнера закончилась гарантия – год с момента его выпуска, шесть винтов встало. И, соответственно, по гарантии их не поменяли. Операционные издержки дают практически минимальную эффективность эксплуатации воздушного охлаждения.

Что имеем на выходе при расчете эффективности иммерсионного охлаждения? Мы недавно делали расчет для новых whatsminer-ов, выпущенных под иммерсию. Мы рассчитали срок окупаемости в зависимости от количества установок – от 12 до 14 месяцев. 14 – при одной установке, 12 – при пяти-шести. Таким образом, за счет масштабирования можно быстрее окупить затраты на переход на иммерсию.

— Как рассчитать энергоэффективность и экономическую выгоду от иммерсионного охлаждения в долгосрочной перспективе?

— Стандартный экономический расчет – сравниваем две существующие системы в комплексе: учитываем эксплуатацию, не только монтаж, но и долгосрочное использование, обслуживание и получаем данные, которые сравниваем. Они, конечно, будут отличаться для разных климатических условий и для разного оборудования. Но это уже задача финансового менеджмента и экономики.

— Какие требования предъявляются к помещению, в котором устанавливается оборудование на иммерсионном охлаждении, и как его подготовить?

— Сравнивая использование иммерсионного охлаждения в облачном дата-центре мы имеем огромный плюс в том, что требования по пожаробезопасности к иммерсии гораздо ниже чем к “воздуху”.

Для воздушного охлаждения нужно учитывать такие факторы, как: горячие и холодные коридоры, чиллер-фанкойлы, фальшполы и кабель-каналы, высоту потолков (она должна быть минимум четыре метра, чтобы можно было монтировать стойку). 

В случае с иммерсией это может быть даже полуподвальное помещение с высотой потолков 1м 70 см – 1м 80 см, что вполне пригодно для эксплуатации иммерсионного оборудования. Более того на “воздухе” есть проблема большого шума, что в дата-центрах, что в майнинговых центрах, а в случае с иммерсией – это абсолютная тишина.

— Для иммерсии стало возможным покупать оборудование сразу без кулеров. Как часто все еще приходится заниматься демантажом?

— Иногда приходится их демонтировать плюс использовать специальные прошивки. Сейчас действительно появляется бескулерное оборудование, а раньше его в принципе не было и оно просто всегда дорабатывалось. Но сегодня уже можно приобрести оборудование изначально предназначенное для иммерсии. Основное требование к таким аппаратам – прошивки, которые позволяют работать оборудованию без использования кулеров.

— Как достичь максимальной производительности при иммерсионном охлаждении?

— Предел производительности в том, на сколько конкретно установка рассчитана. То есть если у нас установка с мощностью энергоподачи и теплоотведения на каждую ячейку, куда кладется отдельный асик – 7 кВт, а общее теплоотведение со всех ячеек и общий ввод электричества под это рассчитан, то можно его разгонять до предела, до этих самых 7 кВт. С другой стороны, конечно, как и на “воздухе” мы имеем некоторые ограничения, то есть если система изначально имеет предел  5 кВт, то свыше 5 гнать не получится. Здесь мы упираемся в конфигурацию конкретной системы. При этом общий физический предел, конечно, у иммерсии значительно выше, чем у “воздуха”, где в принципе оборудование на 7-10 к Вт охлаждать, думаю, мы и не сможем. Когда один асик будет по 15 кВт, а размером с S19 или чуть больше, то его физически не возможно будет охладить “воздухом”.

— За сколько бы окупилась бы система, если представить, что ситуация на рынке замерла?

— Если мы рассчитываем комплексно проект с закупкой оборудования уже предназначенного для иммерсии (тот же whatsminer), который включает в себя и асики, и комплексы самих иммерсионных установок, диэлектрическую жидкость, внешний контур, плюс монтаж, эксплуатацию и обслуживание, то такой проект для потенциального клиента окупается за 12-14 месяцев. Это при сегодняшних показателях – наш расчет буквально недельной давности. Конечно, ситуация в майнинге меняется, стоимость криптовалют колеблется порой за несколько дней на десятки процентов, что учесть мы не сможем. При текущих показателях – 12-14 месяцев в зависимости от объема. 14 – для одной-двух установок, 12 – для пяти-шести установок с учетом масштабирования.

— Есть ли смысл переходить на иммерсионное охлаждение самостоятельно?

— Самому я бы не рекомендовал это делать, потому что есть много нюансов: какое оборудование размещается, как оно размещается, какие его характеристики. К примеру, сейчас приобретает популярность использование иммерсии под сервера. В таком случае даже расположение и использование обычного радиатора уже влияет на то, как оборудование будет охлаждаться. Без знаний всех этих нюансов и термодинамики, конечно, самостоятельно лучше этим не заниматься.

В принципе можно поставить задачу производителям и продавцам этих установок – и они все подберут-расскажут. Они готовы прорабатывать каждый проект индивидуально, что в нашем случае и происходит.

— То есть Вы не советуете опускать асик в аквариум и заливать его иммерсионной жидкостью?

— Это из истории посмотри как сделали ребята и не повторяй сам. Лучше довериться профессионалам.

— Давайте подытожим. Какие преимущества иммерсионное охлаждение  имеет по сравнению с воздушным и водяным?

В нашем дата-центре процент электроэнергии, который используется поверх своего основного назначения для теплоотведения на “воздухе” – 30%, на иммерсии – примерно 3%. Другими словами, оборудование условно ест один МВт, еще 300 кВт на “воздухе” тратится, чтобы убрать тепло и обеспечить работу дата-центра, а на иммерсии, соответственно, не 300, а 30 кВт тратится на те же цели. Помимо такой эффективности теплоотведения есть еще несколько существенных преимуществ.

Первое – отсутствие мелкодисперсной пыли. Со временем на воздушном охлаждении даже при наличии хорошей системы фильтрации оседает пыль, что сказывается на работоспособности оборудования. Это приводит к необходимости дополнительного обслуживания по продувке и удалении пыли. В истории с иммерсией такого в принципе нет.

Второе – это пожаробезопасность. Правильно сконфигурированные иммерсионные установки и соответствующая всем характеристикам иммерсионная жидкость пожаробезопасны. Вероятность возгорания и последующих негативных факторов при использовании иммерсии стремится к нулю. На воздушном же охлаждении истории с пожаром довольно распространены: та же мелкодисперсная пыль создает статическое электричество, электрическая дуга – и контейнер сгорает за несколько минут. В иммерсии, конечно, таких историй нет.

Третье, и не менее важное — полная тишина. В отличии от воздушного охлаждения, иммерсионное работает абсолютно бесшумно.

— Со временем все перейдут на иммерсионное охлаждение или такого не случится?

— Думаю, со временем все перейдут на иммерсию. Также как все пересядут на электромобили, хотя тут я меньше уверен. Прогресс все-таки неумолим и скоро новое оборудование станет просто невозможно охлаждать воздухом.