Иммерсионное охлаждение ферм

[Project]

 

 

Я думаю вентиляторы с видюх снимать, они там не нужны

 

с радиатором нужно проверять, вполне возможно он окажется лишним тепловым переходом и без него съём тепла с проца будет интенсивнее.

 

Кстати для охлаждения можно прогонять воздух через масло, только есть обратная сторона - вода из воздуха будет активнее накапливаться

Да Вы просто генератор идей, "как убить видеокарту максимально эффектно".

Начну с последнего. Если барботировать масло, то оно не только сможет потенциально накопить влагу, в него неизбежно попадёт мелкодисперсная пыль, а так же оно будет подвержено чрезмерному окислительному процессу. Ну и оно будет "газированным", а теплоёмкость и теплопроводность воздуха - не айс. Понятно, что и диэлектрические свойства потеряются.

Если снять радиатор (основная функция которого распределять точечно-сосредоточенное тепло по большой площади), нагрев будет локальным, а ввиду плохой теплоёмкости и некудышной теплопроводности, возле чипа масло будет кипеть и обгорать, а в паре сантиметров от этого ЧП оно будет чуть тёплым.

Ну и если снять ветродуи, то масло между рёбрами будет застаиваться. Думаю, тяжело будет с помощью "выхлопа помпы" организовать хоть какое-то равномерное перемешивание масла между картами. Если честно, то я считаю это попросту невозможным, когда речь идёт о 4-5 картах. Та, что ближе к выхлопу - будет более-менее омываться. Остальные карты, по-сути, будут получать свежие порции масла только засчёт естественной конвекции.

 

В любом случаи, интересно что получится. Главное, не делать поспешных выводов. Карты, может и окупились, но это не повод их скопытить.

[Arrivan]

 

Я думаю вентиляторы с видюх снимать, они там не нужны

 

с радиатором нужно проверять, вполне возможно он окажется лишним тепловым переходом и без него съём тепла с проца будет интенсивнее.

 

Кстати для охлаждения можно прогонять воздух через масло, только есть обратная сторона - вода из воздуха будет активнее накапливаться

Да Вы просто генератор идей, "как убить видеокарту максимально эффектно".

Начну с последнего. Если барботировать масло, то оно не только сможет потенциально накопить влагу, в него неизбежно попадёт мелкодисперсная пыль, а так же оно будет подвержено чрезмерному окислительному процессу. Ну и оно будет "газированным", а теплоёмкость и теплопроводность воздуха - не айс. Понятно, что и диэлектрические свойства потеряются.

Если снять радиатор (основная функция которого распределять точечно-сосредоточенное тепло по большой площади), нагрев будет локальным, а ввиду плохой теплоёмкости и некудышной теплопроводности, возле чипа масло будет кипеть и обгорать, а в паре сантиметров от этого ЧП оно будет чуть тёплым.

Ну и если снять ветродуи, то масло между рёбрами будет застаиваться. Думаю, тяжело будет с помощью "выхлопа помпы" организовать хоть какое-то равномерное перемешивание масла между картами. Если честно, то я считаю это попросту невозможным, когда речь идёт о 4-5 картах. Та, что ближе к выхлопу - будет более-менее омываться. Остальные карты, по-сути, будут получать свежие порции масла только засчёт естественной конвекции.

 

В любом случаи, интересно что получится. Главное, не делать поспешных выводов. Карты, может и окупились, но это не повод их скопытить.

 

Сейчас мы говорим только о теории. Вы прочитали статью в начале темы? Там используется совсем другое масло (с нашим трансформаторным это мы ушли в бюджетную сторону). Для того масла о котором я писал в начале аэрация - нормальный процесс, но в условиях датацентра, а в наших "шахтах" как правило пыльно и я не одобряю эту идею хотя и рассматриваю.

С радиаторами согласен - оставлять нужно, но полностью снимать термопасту. Вентиляторы - на полку однозначно, если только для перемешивания ставить совсем другого типа или помпу. Вообще помпа конечно нужна, масло должно перемешиваться и через внешний радиатор рассеивать тепло.

Кто-то конечно заявит - нафиг такой огород если опять радиатор-вентилятор и обдув воздухом - я думаю здесь есть плюс в количестве и соответственно трудозатратах на обслуживании. В данном варианте на ванну можно поставить один радиатор, один вентилятор и одну трубу на выдох горячего воздуха. А между прочим у кого-то наверняка есть возможность охладить этот радиатор проточной водой (привет самогонщикам!)

Повторюсь: тему создал для обсуждения возможностей, а также услышать людей кто уже делал подобные проекты. Мне эта тема интересна, т.к. лето синоптики пообещали горячее, а в шахте все по-старому (темно и жарко :) ) Ищем новые действительные идеи с охлаждением.

[Project]

Если кто-то заявит, что

 

нафиг такой огород если опять радиатор-вентилятор и обдув воздухом

то можно только улыбнуться и напомнить человеку про закон сохранения энергии. Если мы имеем нагреватель на 1КВт, то рано или поздно он прогреет ёмкость аквариума (коли объём сравнительно мал, а стенки плохо рассеивают и проводят тепло). А вся прелесть в радиаторе состоит как раз в том, что тепло  с разбросанных "кипятильников" сосредоточено в одном радиаторе. С него элементарно данное тепло выкинуть на улицу или вовсе пустить на отопление дома/цеха/подвала/т.п. Так, что бояться радиатора точно не следует. Напротив, надо понимать, что он будет необходим.

 

Самый подкупающий своей эффективностью способ утилизации излишков тепла - кинуть несколько сотен метров трубы в земле на глубине нескольких метров. Температура там круглый год примерно постоянная и не выше 10'C. Чем больше площадь, по которой раскиданы трубы, тем больше энергии можно выкачать/закачать из/в земли. Сиё называется "тепловым насосом". Но, понятное дело, что это слишком грандиозное дело. Другим вариантом использования "природных ресурсов" может являться водоём - пустил по дну несколько десятков метров трубы и получил неограниченный теплопоглотитель с температурой (в самое жаркое лето средней полосы) не выше 20...25'C. Только надо что бы рядом с шахтой такой водоём был.... Есть ещё варианты с испарительным охлаждением. Оно по-проще в организации, не требует наличия водоёма или глобальных экскаваторных работ с колоссальными финансовыми затратами. В сочетании с собранным "в одну трубу" теплом, эти методы позволят сильно повысить плотность размещения вычислительных единиц. Но... Всё это на данном этапе уже экономически не эффективно. При минимальном профите с майнинга, такие большие вложения попросту не окупятся. А вот чисто для интереса делать можно и нужно, конечно же.

[br0nevik]

В бизнесе есть хорошее правило. Обычно твоя новаторская мысль никем не используется не потому что ты гений а все ПТУшники, и не из-за лобби жидорептилоидов, а потому что она практически нереализуема и экономически нерентабельна.

 

Полагаю, что тут также.

[Uliss]

... с радиатором нужно проверять, вполне возможно он окажется лишним тепловым переходом и без него съём тепла с проца будет интенсивнее.

Радиатор необходим!

Необходим для того, чтобы отвести тепло от чипа, практически точечного источника, и распределить его по большей площади охлаждения жидким теплоносителем. Это может быть или медная/алюминиевая площадка, достаточных размеров (квадрат со стороной = высоте карты) или те же самые тепловые трубки родного радиатора, но без оребрения - столь частое оребрение только затруднит ток достаточно густого масла и охлаждение трубок.

[r2d2]

мысль:

разбавлять масло каким-нибудь растворителем,зачем : удешевление + вязкость меньше,но опять же надо подбирать-искать.

из минусов -  испарение и соответственно запах   :( .

[r2d2]

сам склоняюсь к другому способу охлаждения летом(извиняюсь за офтоп)

 

фермы или в небольшое помещение или же короб,

перед входом вентиляции ставим авто радиатор(ы) и пропускаем чз него обычную холодную воду

(в городе из под крана ,на селе еще проще - колодец-скважина)

выход вентиляции на улицу

легко обеспечить фильтрацию от пыли + нет риска повредить карты маслом

Изменено 16 мар 2015, 06:00 пользователем r2d2

[Uliss]

мысль: разбавлять масло каким-нибудь растворителем

Пропиленгликоль

пропускаем чз него обычную холодную воду (в городе из под крана ,на селе еще проще - колодец-скважина)

в городе счетчики стоят на воде....

[sianle]

а ты в стояк врезку с холодной водой сделай =) и не будет счетчиков 

[Strannik]

При расходе до 30л/ч большинство счётчиков даже не крутятся =)

Летом, "холодная вода" из-под крана прогревается до 23-24 градусов, при пропускании её через радиатор учитывая кучу посредников, после радиатора воздух охладится в лучшем случае до 27-28гр. Температура воздуха на улице не больше 30-33гр. Если 3-5 градусов изменят погоду, то городите проточку. Но я не вижу в этом смысла =)

 

Куда проще сделать воздухозаборник свежего уличного воздуха и так же технично выкидывать отработку туда же.

 

А вот аквариум с маслом это тема =) только для экспериментов, слишком уж проблематично топить 60 видяшек в масле, потом хер слить/сдать =)

 

зы. Яндекс кажет 28гр. засунул градусник под холодную воду, за 10 минут градусник остыл до 25гр. Так что разница между темпой воздуха и холодной водой слишком мала для эффективного использования)

 

Радиатор с маслом можно охлаждать простым форточным кондеем, стоит 5к потребляет 450Вт хладо производительность 5000BTU из сопла дует 2 градуса =)

Изменено 16 мая 2014, 11:13 пользователем Strannik

[r2d2]

1 если есть форточный кондей - ванна с маслом лишний элемент

2 согласен - для горожан моя идея отпадает

3 на селе сейчас на улице +30 вода в колодце 1-5 градусов - градусов на 10-15 входящий воздух можно охладить,в скважинах вода наверное все лето не больше 5-10 градусов.

4 автомобильный вентилятор потребляет(на максимуме) около 8 А - приблизительно 100вт

Изменено 16 мая 2014, 11:44 пользователем r2d2

[r2d2]

я не отговариваю от ванны с маслом(или кондея) - хочется найти наиболее простой и при этом эффективный охладитель  :)

Изменено 16 мая 2014, 11:48 пользователем r2d2

[Strannik]

Форточник имеет очень хорошее преимущество, он забирает воздух в низу своей морды ,а выбрасывает холодный с верху.

Можно сделать 2х радиаторный контур.

Если перед мордой поставить  первый радиатор и закрыть коробкой, то кондей будет в очень маленьком контуре гонять воздух по кругу, при такой конструкции думаю можно достичь стабильных +5гр если не меньше в небольшой коробке с радиатором.

Второй радиатор уже продувать вентилями и прохладный воздух дуть на фермы =)

Ну или масляный радиатор поместить в коробку с кондеем, ферма не нагреется выше 20 гр)

Изменено 16 мая 2014, 13:02 пользователем Strannik

[bestsponsor]

Я лет 10 назад на выставке видел работающий системник в корпусе из прозрачного акрила с неоновой подсветкой и в ... аквариуме.
Прикольно так медленно крутились кулеры и все фурычило.
Но для ферм и долгосрока думаю это не реально. 

[r2d2]

ну так то вода (дистилированная) ток не проводит

[Combowan]

ну эдак то платы из тексталита,детали железные,,воздух,все начнет окисляться,соли выпадут и токнет

[Project]

Если на выхлопе кондея +2 при обычных условиях, то если вместо +20 на вход ему подсунуть +50 - то и на выходе будет уже не +2, а гораздо больше. Хладопроизводительность кондея заранее оговорена.

 

Могу напомнить про элементы Пельтье. Гораздо эффективнее отобрать тепло у теплоносителя можно именно с их помощью. А уж их самих можно и обычным уличным воздухом охлаждать (даже +30 - вполне нормально). Чем выше разность температур - тем эффективнее теплообмен. С помощью Пельтье большая разность температур будет именно в них, а не в более ценных видеокартах. Из минусов: нужна водянка или масло, что бы собрать тепло с множества карт в одно место с теплообменником. Можно, конечно, и с воздухом попробовать, но этот вариант видится наименее эффективным.

Правда, Пельтье очень прожорливы и без халявной розетки не имеют смысла. С иной стороны, при халявной розетке дешевле однократно купить хороший кондей и не парить себе мозг. )

[Uliss]

@Project, малоэффективно.

Тогда, уж, проще сделать чиллер с теплообменником из системы бытового холодильника и им охлаждать масло.

ИМХО - это будет максимально компактный и производительный вариант.

[Игорь Абрашин]

Мертвая вода вам в помощ, никаких проблем с электропроводностью и окислением, видяхи можно прям целиком с вентилями засовывать, нет проблем со смывом мертвой воды. Проблема в доступности и цене этой воды.

[erl]

лет 15 как уже эта байка

 

 

проблема в том что масло рано или поздно придется менять

кроме того теплоёмкость не так уж и велика

и радиатор придётся делать

а значит нужна и помпа

и вертушка обдува

 

в общем решение на любителя

и гарантии 0

 

может с 5850 я бы заморочился

но 7970 сувать в масло я бы не рискнул

1) Масло нужно менять не чаще, чем средний срок жизни видяхи на воздушке, работающей 100% времени. В трансформаторах их не меняют десятилетями, если все правильно сделано. А у некоторых современных видях вентиляторы от пыли отваливаются уже через пару месяцев.

2) Теплопроводность и темплоемкость не критичны. И в масле и в воздушных радиаторах на базе тепловых трубок. Даже теплопроводности меди мало чтобы нормально отвести тепло сколь-нибудь отдаленно. Работает только конвекция (в том числе в тепловых трубках). С вязкостью у трасформаторного масла все в порядке, это его ключевая характеристика

3) Помпа для принудительной конвекции действительно может быть нужна в некоторых конструкциях. Это эффективней, чем нагревать радиатор в масле, передавать тепло по трубкам, а потом опять их охлаждать. На банку стоимостью 100тыс взять помпу за 2тыс и радиатор за 2-4тыс - не проблема, плюс мелочевка. Все это быстро окупается за счет экономии на эл-ве, возможностях использовать пониженный вольтаж и сильное увеличение срока годности.

4) Возможна другая конструкция, когда в масло опускается теплообменник с водой и вода уже уходит на градирни. Это актуально когда банок много и хочется радиатор вынести подальше

5) 7970 работает в масле так же нормально, как и все остальные. Причем можно со стандартным радиатором, только крышку снять.

[erl]

 

Про менять масло - там рыбы нет, это не аквариум, чего уж проще масло поменять

А Вы в курсе сколько стоит литр масла? Ничуть не дешевле качественного автомобильного получается. Заменить литров 50-100 такого масла... лучше пару-тройку видюшек прикупить новых, вместо этого сомнительного процесса.

 

Лукойловская бочка 400л стоит 14тыс - на пол жизни хватит. Менять его нужно только если сильно насорил. В нормальном случае можно внукам передать. Даже с сушкой можно не заморачиваться, ибо 12 вольт.

Очень сильно сомневаюсь что масла хватит на полгода, думаю гораздо больше ресурс должен быть.

У меня для такой проверки уже почти все есть, дело за малым - найти хорошее масло за разумные деньги. Я думаю вентиляторы с видюх снимать, они там не нужны (в масле толку от них 0,0001%) вот с радиатором нужно проверять, вполне возможно он окажется лишним тепловым переходом и без него съём тепла с проца будет интенсивнее. Тогда остается для погружения только плата видюхи, которую после использования можно промыть в ванночке со спиртом и она будет как новая, без пыли и пр. (это если потом её еще продать кому захочется). Я думаю любой электронщик подтвердит что смывка флюса и пр. загрязнений с электронных компонентов производят с помощью спиртов. 

Крышка с вентилятором снимается. Ибо вентилятор все равно сдохнет, а крышка будет мешать конвекции. Радиатор стандартный остается, с термопастой можно не заморачиваться. Если сильно винты отверткой не царапать и разбирать/собирать аккуратно - то после очистки масла соответствующими средствами  - можно сдать видяху на гарантию.

[erl]

 

Я думаю вентиляторы с видюх снимать, они там не нужны

 

с радиатором нужно проверять, вполне возможно он окажется лишним тепловым переходом и без него съём тепла с проца будет интенсивнее.

 

Кстати для охлаждения можно прогонять воздух через масло, только есть обратная сторона - вода из воздуха будет активнее накапливаться

Да Вы просто генератор идей, "как убить видеокарту максимально эффектно".

Начну с последнего. Если барботировать масло, то оно не только сможет потенциально накопить влагу, в него неизбежно попадёт мелкодисперсная пыль, а так же оно будет подвержено чрезмерному окислительному процессу. Ну и оно будет "газированным", а теплоёмкость и теплопроводность воздуха - не айс. Понятно, что и диэлектрические свойства потеряются.

Если снять радиатор (основная функция которого распределять точечно-сосредоточенное тепло по большой площади), нагрев будет локальным, а ввиду плохой теплоёмкости и некудышной теплопроводности, возле чипа масло будет кипеть и обгорать, а в паре сантиметров от этого ЧП оно будет чуть тёплым.

Ну и если снять ветродуи, то масло между рёбрами будет застаиваться. Думаю, тяжело будет с помощью "выхлопа помпы" организовать хоть какое-то равномерное перемешивание масла между картами. Если честно, то я считаю это попросту невозможным, когда речь идёт о 4-5 картах. Та, что ближе к выхлопу - будет более-менее омываться. Остальные карты, по-сути, будут получать свежие порции масла только засчёт естественной конвекции.

 

В любом случаи, интересно что получится. Главное, не делать поспешных выводов. Карты, может и окупились, но это не повод их скопытить.

 

1) Пыли и окисления гораздо меньше, чем при воздушке - если хотя бы тупо прикрыть крышку. Все остальное касается пробоев масла на десятках киловольт.

2) Если снять радиатор - масло несправится. Радиатор нужен в любом случае, изначально расчитанный на 250Вт.

3) Видяху надо ставить так, чтобы ребра были вертикальны. Образуется идеальная конвекция, ничего не застаивается.

4) Мало перемешивать не надо, за счет вязкости температура идеально распределяется и по горизонтали и по вертикали. Нужно просто забирать готовое горячее масло сверху. Помпы от стандартных СВО нормально справляются с перекачкой и самое интересное это уже радиаторы. СВО Радиатор на 3x120 вентилятора хорошо отводят 1000Вт, при это давая на производительных вентиляторах разницу между окружающим воздухом и маслом 15-20 градусов. Но если у тебя температура масла 60-70 градусов, а на вдуве в радиатор меньше +30 - то можно и с 6ти видях попробывать и обычным 3 секционным снять тепло. Там уже много зависит от деталей. Проще сделать все с запасом, как минимум реже вентиляторы будут вылетать.

[erl]

В бизнесе есть хорошее правило. Обычно твоя новаторская мысль никем не используется не потому что ты гений а все ПТУшники, и не из-за лобби жидорептилоидов, а потому что она практически нереализуема и экономически нерентабельна.

 

Полагаю, что тут также.

Эта мысль не новаторская.

Любая инженерная задача решаема.

Проблема современной индустрии не в "экономической нерентабельности", а в "неподходящей модели продаж". Маслянное охлаждение удобно, когда ты сам собираешь сервера, у тебя свой дата-центр, ты сам платишь за эл-во, сам заморачиваешься с гарантией и имеешь небольшую маржу по отношению к стоимости оборудования и эл-ва.

В ситуации когда одна контора делает процы, другая корпуса, третья стойки, четвертая монтирует дата-центры, пятая обслуживает, шестая использует ... оказывается что все хотят максимально удобную и безопасную для себя модель продаж, все хотят заработать и не нести лишних рисков, плюс максимизировать оборот.

Если на выхлопе кондея +2 при обычных условиях, то если вместо +20 на вход ему подсунуть +50 - то и на выходе будет уже не +2, а гораздо больше. Хладопроизводительность кондея заранее оговорена.

 

Могу напомнить про элементы Пельтье. Гораздо эффективнее отобрать тепло у теплоносителя можно именно с их помощью. А уж их самих можно и обычным уличным воздухом охлаждать (даже +30 - вполне нормально). Чем выше разность температур - тем эффективнее теплообмен. С помощью Пельтье большая разность температур будет именно в них, а не в более ценных видеокартах. Из минусов: нужна водянка или масло, что бы собрать тепло с множества карт в одно место с теплообменником. Можно, конечно, и с воздухом попробовать, но этот вариант видится наименее эффективным.

Правда, Пельтье очень прожорливы и без халявной розетки не имеют смысла. С иной стороны, при халявной розетке дешевле однократно купить хороший кондей и не парить себе мозг. )

У элементов Пельте КПД 5% (чтобы отвести 5Вт тепла нужно дополнительно затратить 100Вт энергии). Полезно разве что пиво охладить в машине.

[SHiCK]

 

Привет труженикам криптофронта!

Прочитал интересную статью про охлаждение датацентров с помощью минерального масла. Читал до этого еще несколько подобных обзоров. Идея мне кажется очень заманчивой для применения в охлаждении ферм для майнинга.

Теоретически сложностей для применения в нашем деле не видно. Можно подобрать необходимый бак (алюминий, нержавейка) поставить в него обычный риг и залить минеральным маслом. Только что-то не видно его в продаже на просторах нашей Родины (искал «Crystal Plus 70T»), только у буржуев покупать. Абы что лить нельзя.

Вопрос к коллегам - кто-то уже что-то подобное пробовал запустить/тестировать? Беглым поиском по форуму похожих тем не нашел, только "водянки".

 

 

Тема поднимается на этом форуме примерно раза три в год. При резком и значительном повышении температуры за окном.

Если шум не критичен продумайте систему воздушного охлаждения. приточные 80-90 мм вентиляторы на каждую карту по 3 бакса за шт. воздушный поток 40 "хренатей", шум чем меньше тем лучше. Кулеры проще покупать для процессоров, от старых сокетов. и снимать их с радиаторов. Они оч дешевле стоят, чем без радиатора и исполнение по лучше чем, для корпуса.

Если шум критичен,  переезжайте на воду + если будете охлаждать водой камень карты, радиаторы + воздух на память и питание. Используя запчасти от отечественного автопрома она будет очень эфективной и совсем не дорогой.

 

По поводу масла, 2-3 (не говоря уже про 5-6) карты (7970) раскочегарят его за пол дня от силы. дальше надо проектировать систему охлаждения масла. а это не вода попробуй что бы остыло ...

 

 

 

 

остается для погружения только плата видюхи, которую после использования можно промыть в ванночке со спиртом и она будет как новая, без пыли и пр. (это если потом её еще продать кому захочется). Я думаю любой электронщик подтвердит что смывка флюса и пр. загрязнений с электронных компонентов производят с помощью спиртов.

Да, как новая, только будет ли работать она после такого "купания" - большой вопрос. ;)

 

 

по моему спирт еще лак с платы отлично смывает.

[Strannik]

Как вариант, аквариум заполненный под горлышко маслом, закрывается крышкой. Крышка это пластина с 2х сторонним оребрением. С нижней стороны рёбра погружены в масло и забирают тепло, а с верхней стороны отдают тепло и обдуваются вентиляторами)

Вариантов изготовления такой крышки масса ,самый простой алюминиевая пластина (на крайняк можно и в фанеру или пластик) с просверленными отверстиями в которые вставлены толстые медные обрезки провода. Получаем своего рода Ёжика, эффективность которого тем выше, чем больше шипов )

Основным теплопередающим элементом будут являться медные иглы, второстепенным пластина, на которой они закреплены)

И не нужно ничего перекачивать ,естественной конвекции должно хватать. В любом случае без экспериментов ничего точно не сказать)

 

Как вариант можно затестить на кастрюле с водой и замерить скорость закипания (или нагрева воды до 80-90гр) на электро плите с радиатором и без =) Комфорки обычно имеют 1-2кВт мощности =)

Изменено 25 мая 2014, 13:14 пользователем Strannik