Иммерсионное охлаждение ферм

[Krabo]

 Я так и не понял в чём смысл заморачиваться с маслом? В коробке с пятью картами нормальную циркуляцию масла обеспечить будет гораздо геморней, чем водянку делать. А так как теплоноситель из масла фиговый (в сравнении с водой), то гонять придётся ох как активно. В трансформаторах масло используется лишь потому, что нельзя как в видяхе приложить качественный теплосьемник к идеально ровному кристаллу - там провода, а масло пролезет везде. Вот если нужно целиком сервер охлаждать (как делает интел), то там так же используют жидкость, так как это проще, чем куча водяных трубопроводов. Да и интел отказалась от масла - пока экспериментируют с сухой водой (novac). Но её в свободной продаже не будет, как я понимаю.

 

 

Всё гениальное просто =)

NANOPROTECH – защита от влаги и коррозии.

Единственное доказавшее свою эффективность средство для защиты металла, электрических и электронных деталей, механизмов, машин и оборудования от всех форм влаги (пара, влажности, конденсата, тумана, брызг, соленой воды, кислотного дождя, хлорированной воды, химических испарений и т.д.).  :D

Можно ли подобное сделать у себя на балконе ? Во сколько обойдется изготовление ? И главное где взять эту самую чудо жидкость? 

Я думаю идея масляного охлаждения намного более приемлема к нашим реалям. Есть рабочие образцы . Есть наглядные расчеты   увеличения Мхешей из за разгона видеокарт в масле. 

И не нужно " в коробку с маслом ложить пять видеокарт "  Ясно что к охлаждению маслом нужно подходить с умом .  То же самое можно сказать и про воздушное охлаждение .

Есть готовые блоки водяного охлаждения для видекарт.  Цена заоблачная.  Намного ИНТЕРЕСНЕЕ сделать самому .

 

Вот кому интересно , можете почитать как другие делали :

На подсолнечном масле - 4 месяца работы и не чего не сломалось http://habrahabr.ru/post/181003/

На трансформаторном масле - 1 год работы , поломки незначительные http://dlinyj.livejournal.com/357595.html

На дистиллированной воде и на масле - только ради теста . http://www.thg.ru/howto/20060123/

Изменено 31 мая 2014, 13:10 пользователем Krabo

[erl]

erl

Тема начиналась с обзора датацентра с охлаждением маслом, так там и используется такое. Не обоснованных экспериментов делать не хочется.

Для меня очень важным параметром является температура воспламенения, в ГОСТе на наши трансформаторные масла указана температура вспышки 125 градусов. Может я не правильно понял этот параметр, кто знает точно - пусть поправит.

Ну и не надо спички жечь над маслом. А температура самовоспламенения 400 градусов.

 

Что касается статей:

1) Все стараются набить себе цену. Типа они обладают супер-технологией, которая сводится к изобретению супер-масла. В стране победившего капитализма, где запатентован даже двойной клик мышки - надо делать много разных скидок и статьи хорошо фильтровать.

2) Конторы типа Intel действительно вынуждены серьезно экспериментировать с присадками. Пока у них нормально не заработает ВСЕ оборудование, включая сомнительные китайские девайсы для оптики - они не запустят проект такого дата-центра. Плюс куча юридических вопросов с гарантией, вероятностью что заказчик через 5 лет подаст иск о неизвестном сейчас последствии от масла и т.д. Поэтому в то время когда уже половина супер-компьютеров делается с погружным охлаждением - конторы делающие его на продажу проходят свой собственный путь, а главное - выработку правильной модели продаж.

 

С видяхами в масле проблем нет, а вот погружать блоки питания пока страшно, да и вентилятор без потери гарантии не снять. Но дело не в конкретной марке масла, а в том, что некоторые компоненты в принципе на масло не рассчитаны.

[erl]

Трансформаторное масло самый лучший вариант , нужно лишь все конденсаторы за изолировать от масла , чтоб резина не разбухла. 

Трансформаторное масло можно достать у электриков на подстанции. Так же его заливают в компрессора. 

По составу оно " сухое" то есть не смазывает механизмы при работе. За то мало испаряется, не воняет , хорошо охлаждает , ну и жидкое.

Если нет трансформаторного - можно залить самую дешевую гидравлику - веретенку. Но вонючая блин...

Да на каждом углу оно продается. А кандеры сейчас нормальные стоят в видяхах. Начнете герметизировать - гарантию потеряете.

[erl]

На трансформаторном масле - 1 год работы , поломки незначительные http://dlinyj.livejournal.com/357595.html

 

В 2008ом он писал статью, значит блок засунул в масло в максимум в 2007 и уже тогда блок был не новый, да и выглядит весьма дешево. С тех пор многое изменилось, в том числе мода на твердотельные кандеры.

Может там дело и не в разбухании резиновой подложки, а в том что электролит разбух за год нахождения кандера при 60ти градусной окружающей температуре.

[erl]

 Я так и не понял в чём смысл заморачиваться с маслом? В коробке с пятью картами нормальную циркуляцию масла обеспечить будет гораздо геморней, чем водянку делать. А так как теплоноситель из масла фиговый (в сравнении с водой), то гонять придётся ох как активно. В трансформаторах масло используется лишь потому, что нельзя как в видяхе приложить качественный теплосьемник к идеально ровному кристаллу - там провода, а масло пролезет везде. Вот если нужно целиком сервер охлаждать (как делает интел), то там так же используют жидкость, так как это проще, чем куча водяных трубопроводов. Да и интел отказалась от масла - пока экспериментируют с сухой водой (novac). Но её в свободной продаже не будет, как я понимаю.

Какими цифрами Вы располагаете насчет "резкого роста активности в прогонке масла"? Узкий момент - это передача тепла от радиатора воздуху. Там до 20 градусов в норме разница между воздухом и хладогентом. Мощная помпа нужна если конструкция сложная или трубки длинные, плюс в водоблоках _очень узкие_ щели, через которые надо поток проталкивать. При охлаждение непосредственно масла предполагается, что радиатор у Вас рядом и находится на том же уровне что и масло (ибо сообщающиеся сосуды). И когда нет водоблоков и тупо гоняется жидкость по трубкам 10-13 мм - нет встречного давления. Если нужно уводить тепло далеко - то в масло кидается радиатор, по которому уже циркулирует вода и уходит на градирни. Одной нормальной градирней с трубами 1/2 дюйма хватает на десятки банок.

А вот СВО на десятки банок Вы замучаетесь делать и обслуживать. Это же не просто домашний комп собрать для прикола.

 

Что касается сухой воды - количество гемора и расходов вырастает экспоненциально, В том числе из-за требований герметичности.

[Gegun]

 

 

Какими цифрами Вы располагаете насчет "резкого роста активности в прогонке масла"? Узкий момент - это передача тепла от радиатора воздуху. Там до 20 градусов в норме разница между воздухом и хладогентом. Мощная помпа нужна если конструкция сложная или трубки длинные, плюс в водоблоках _очень узкие_ щели, через которые надо поток проталкивать. При охлаждение непосредственно масла предполагается, что радиатор у Вас рядом и находится на том же уровне что и масло (ибо сообщающиеся сосуды). И когда нет водоблоков и тупо гоняется жидкость по трубкам 10-13 мм - нет встречного давления. Если нужно уводить тепло далеко - то в масло кидается радиатор, по которому уже циркулирует вода и уходит на градирни. Одной нормальной градирней с трубами 1/2 дюйма хватает на десятки банок. А вот СВО на десятки банок Вы замучаетесь делать и обслуживать. Это же не просто домашний комп собрать для прикола.   Что касается сухой воды - количество гемора и расходов вырастает экспоненциально, В том числе из-за требований герметичности.

 Теплопроводность и теплоёмкость масла в разы ниже, чем у воды, значит и гонять его надо в разы больше, чтобы переносить тот же оюбём тепловой энергии. Если видяхи погружать со стандартными радиаторами, то горячее масло будет застаиваться между ребер, как его прогонять через современные плотные радики хз. Плюс масло может тупо вымыть термопасту. Плюс масло просочится может там, где вода не пройдёт, плюс тепловое расширение достаточно высокое, незнаю что будет с изоляцией проводов через полгода. В случае большой утечки в жилом помещении вообще гемор. И таки да, оно всё же токсично. И масло гигроскопично.

 В общем перечислять можно много. Не вижу смысла.

[Krabo]

"  горячее масло будет застаиваться между ребер, как его прогонять через современные плотные радики хз "   -  - Плюс масло может тупо вымыть термопасту " 

прежде чем размышлять и противоречить самому себе - почитай обзоры тех кто использовал масло для охлаждения .

У нас на производстве каждый двигатель стоит в поддоне , на случай протечки масла.  Конечно если ты додумаешся в стеклянный аквариум масло залить , а потом его разбить - то проблемы будут  :) 

З.Ы. На счет электролита в конденсаторе тоже улыбнуло :)  Специально возьму у друга кондер с видюхи распотрошу и выложу вам , чтоб закрыть вопрос про кондеры. Эти конденсаторы используют сейчас и использовали в 2005 г. 

Вот фото http://clip2net.com/s/idTyZx , стоит как раз резиновая прокладка .

[erl]

А если все-таки решишь делать на масле. Тогда заливай только трансформаторное, оно ведь для этого и создано. Его можно у знакомых электриков по бартеру на белую жидкость с местной ликёрки выменять.И не нужно лить ни каких лукойлов и минеральных, они все с примесями и неизвестно как они к электричеству отнесутся.И еще, маслом по квартире вонять будет сильно. :icon_exclaim:  Через неделю стошнит 100%. Тоже проверено.

Понятно что речь только о трансформаторном масле от Лукойла. Или у вас с этой маркой только моторное ассоциируется?

[erl]

 

Какими цифрами Вы располагаете насчет "резкого роста активности в прогонке масла"? Узкий момент - это передача тепла от радиатора воздуху. Там до 20 градусов в норме разница между воздухом и хладогентом. Мощная помпа нужна если конструкция сложная или трубки длинные, плюс в водоблоках _очень узкие_ щели, через которые надо поток проталкивать. При охлаждение непосредственно масла предполагается, что радиатор у Вас рядом и находится на том же уровне что и масло (ибо сообщающиеся сосуды). И когда нет водоблоков и тупо гоняется жидкость по трубкам 10-13 мм - нет встречного давления. Если нужно уводить тепло далеко - то в масло кидается радиатор, по которому уже циркулирует вода и уходит на градирни. Одной нормальной градирней с трубами 1/2 дюйма хватает на десятки банок. А вот СВО на десятки банок Вы замучаетесь делать и обслуживать. Это же не просто домашний комп собрать для прикола.   Что касается сухой воды - количество гемора и расходов вырастает экспоненциально, В том числе из-за требований герметичности.

 Теплопроводность и теплоёмкость масла в разы ниже, чем у воды, значит и гонять его надо в разы больше, чтобы переносить тот же оюбём тепловой энергии. Если видяхи погружать со стандартными радиаторами, то горячее масло будет застаиваться между ребер, как его прогонять через современные плотные радики хз. Плюс масло может тупо вымыть термопасту. Плюс масло просочится может там, где вода не пройдёт, плюс тепловое расширение достаточно высокое, незнаю что будет с изоляцией проводов через полгода. В случае большой утечки в жилом помещении вообще гемор. И таки да, оно всё же токсично. И масло гигроскопично.

 В общем перечислять можно много. Не вижу смысла.

1) Гонять сильно масло нужно при условии, что "перенос тепла" действительно является узким местом в системе. Опыт показывает, что 10-13мм трубок со стандартными СВО помпами более чем хватает на 1.5кВт.

2) Вязкость трансформаторного масла, предназначенного заполнять пространство между обмоток трансформатора с запасом хватает на огромные расстояния между ребер радиатора видяхи. При вертикальном расположении оно отлично поднимается вдоль них без принудительной конвекции

3) Термопаста по окружности пятна контакта вымывается уже в течении первых нескольких минут. Это не является проблемой, поскольку теплопроводность термопасты тоже в 20 раз меньше, чем у меди. Масло просто подменяет термопасту. Опыт показывает, что в этом месте проблем нет. Разница между показаниями температур cgminer'а и радиатора с обратной стороны, в области проца - около 5 градусов.

4) Вы противоречите себе. Сначала сомневаетесь как масло можно пройти через плотные радики, а потом говорите, что оно просачивается там где вода не проходит. Трансф. масло отлично проходит через все радиаторы.

5) Тема с тепловым расширением подробно расписана в документации на трансформаторы, где она решается для диапазона температур от -40 до +100. У нас масло всегда в районе 55-65гр. Так же не нужна идеальная герметизация и воздуха с влажностью не боимся ибо напряжения низкие.

6) Какие могут быть проблемы с изоляцией? Окислительные процессы в масле на порядки ниже, чем в воздухе.

7) Для людей, проводящих по несколько часов в день в машине - разок разлитое трансформаторное масло угрозы не представляет. Масло на котором жарят гамбурегры - токсично не меньше, а мы его употребляем во внутрь. Тут примерно как с ГОСТом на "бытовую химию" - средства для мытья посуды имеют те же нормы токсичности, как и средство для мытья унитазов.

8) Вы не пробывали жить в помещении, где запущено банок хотя бы на 10кВт? Озон, выделяемый банкам с воздушным охлаждением на порядки вредней, чем легкий запашок маслица. Мы же сравниваем воздушку и масляное охлаждение, а не наличие или отсутствие фермы.

[erl]

"  горячее масло будет застаиваться между ребер, как его прогонять через современные плотные радики хз "   -  - Плюс масло может тупо вымыть термопасту " 

прежде чем размышлять и противоречить самому себе - почитай обзоры тех кто использовал масло для охлаждения .

У нас на производстве каждый двигатель стоит в поддоне , на случай протечки масла.  Конечно если ты додумаешся в стеклянный аквариум масло залить , а потом его разбить - то проблемы будут  :) 

З.Ы. На счет электролита в конденсаторе тоже улыбнуло :)  Специально возьму у друга кондер с видюхи распотрошу и выложу вам , чтоб закрыть вопрос про кондеры. Эти конденсаторы используют сейчас и использовали в 2005 г. 

Вот фото http://clip2net.com/s/idTyZx , стоит как раз резиновая прокладка .

Фотка с весьма дешевой материнки. Кстати, масло очень неплохо охлаждает мосфеты, ибо равномерно покрывает всю плату.

[Krabo]

Какая разница разница дешевая материнка или нет ? Детали везде одинаковые.  

Масло трансформаторное почти не пахнет. 

Я масло машинное использовал вместо термопасты ( смешал с пудрой ) Масло отлично отводит тепло (пудра - чтоб масло не растеклось)  Тот процессор все то работает и там масло не менялось на термопасту.

Влажность ? Вода ? Нужно налить воды в масло и размешать - тогда замкнет. Масло воду из воздуха не набирает . Попавшая вода осядет на дне. 

Провода и шлейфы масло не разъедает. 

Чтобы гигроскопичное масло не вылазило из емкости - нужна герметичная крышка .  Емкость должна стоять в поддоне. 

 

З.Ы. На днях у знакомого фермера опять сгорела видюшка , лето однако ... 

Кому интересно комп или ферму в масло запихать - пишите , я вам полную схему нарисую что и как сделать . Затраты минимальные . Размеры так же минимальные.  Требуется всего лишь умение клеить или паяльником пользоваться.

[Trullis]

Для лета очень актуально, но страшно как то, ведь токи там большие ходят.

Так вот, масло является горючим элементом, а если бахнет... или это исключено? 

[Gegun]

 

 

Для лета очень актуально, но страшно как то, ведь токи там большие ходят. Так вот, масло является горючим элементом, а если бахнет... или это исключено? 

Физика 8 или 9ый класс, кажется. Ключевые слова для поиска - масло, трансформаторное, электропроводность. Должно хватить.

[erl]

Для лета очень актуально, но страшно как то, ведь токи там большие ходят.

Так вот, масло является горючим элементом, а если бахнет... или это исключено? 

Нагреть его видяхами до 400 градусов надо постараться. Да и чтобы зажечь его спичкой - нужно серьезно задаться такой целью. Это не бензин у которого пары вспыхивают.

[Xeon]

Я бы посоветовал ТС обратить внимание на силиконовые масла типа ПМС - они есть разных производителей. Очень приличная теплопроводность, но самое главное - химически оно более инертно, чем трансформаторное, резинка в конденсаторах точно не набухнет. Есть марки с пониженной вязкостью (почти как вода) - тоже несомненный плюс, перемешивать будет легче. Но в любом случае охлаждать его надо - стенки с рёбрами могут с фермой из видях не справиться.

Оптимальный вариант - СВО: забираем тепло у масла, отдаём в воздух.

[ultra]

 

 

Кому интересно комп или ферму в масло запихать - пишите , я вам полную схему нарисую что и как сделать . Затраты минимальные .

А почему бы тут подробно для всех не написать? Лично я с удовольствием почитаю, давно думал на эту тему.....

[erl]

Я бы посоветовал ТС обратить внимание на силиконовые масла типа ПМС - они есть разных производителей. Очень приличная теплопроводность, но самое главное - химически оно более инертно, чем трансформаторное, резинка в конденсаторах точно не набухнет. Есть марки с пониженной вязкостью (почти как вода) - тоже несомненный плюс, перемешивать будет легче. Но в любом случае охлаждать его надо - стенки с рёбрами могут с фермой из видях не справиться.

Оптимальный вариант - СВО: забираем тепло у масла, отдаём в воздух.

Да откуда вообще эта паника о том что из-за масла разбухает какая-то резика? Лично я это встречал это ровно в одном обзоре, где товарищ в 2008г описывал, как в 2006ом он собрал из дешевых б/у компонентов полностью герметичный ящик с пассивным охлаждением, где у него периодически вис от перегрева проц. В итоге когда через год все накрылось, он разобрал бочку и обнаружил разбухшие электролиты на БПшке (скорее от жары, чем от "химической неинертности").

 

Выбор масла - эта самая меньшая проблема. Достаточно чтобы на коробочке было написано, что масло предназначено для погружения туда электронных устройств (обо всем остальном позаботятся без вас). Все что предлагали в этой теме как альтернативу - предназначено для смазки, и как правило в пищевой промышленности.

 

Вы представляете себе коробку с 40ка литрами смазочного селиконового масла, куда вы постоянно суете руки?... а потом оно еще по всем проводам и корпусу благополучно стекает... или если вдруг литров 10 этого масла выльется на пол из-за отвалившегося шланга?

 

Трансформаторное масло - это не только химическая инертность против мистических резинок в электролитических кондесаторах. Это еще куча необходимых характеристик, чтобы использовать его по назначению. Химической инертности ТМ - более чем достаточно, оно не разъедает резину, изоляцию проводов и трансформаторных обмоток столетиями в очень жестких условиях и при высоких температурах. А химическая инертность у масел, предназначенных для смазки тостеров и принтеров - это совсем другая "инертность", другие стандарты и госты. 

А почему бы тут подробно для всех не написать? Лично я с удовольствием почитаю, давно думал на эту тему.....

Задача сводится к проектированию корпуса, система отвода тепла от масла подбирается под задачу. Согласен с предыдущим постом, что проще всего сделать классический СВО, по трубкам чере помпу и радиатор охлаждать масло. Радиатор можно вынести очень далеко. Обычный 3x120 радиатор и обычная помпа легко охлаждаю 30 литровый корпус в 1.7кВт. Сам корпус выступает фактически резервуаром. 

[iplofag]

о, нашел для себя отличную тему с шикарным описанием инженерных задач.

Основной вопрос:

жидкостное/масляное охлаждение делать "просто чтобы не воздух" - имхо смысл сомнительный.

А насколько можно поднять частоту чипов и напругу на них, если их охлаждать, допустим, маслом в хорошем резервуаре, с масляным насосом и качественным радиатором.

 

Т.е. будет ли экономический эффект от этой затеи?

Например, если взять avalon3 single module 290Ghs, на нем напряжение из дока производителя на чип - до 0.75, а в самом доке на чип - указано, что может быть до 0.9В. C частотой - соответственно.

 

Может быть в этих 0,15В/200Mhz и кроется профит?

[polym0rph]

@iplofag,

Дык ЦОДы для майнинга сейчас так и делают, значит, имеет смысл

 

[iplofag]

видео клевое, но, насколько я понял, в нем упор на то, что экономится электроэнергия на охлаждение. Про рост производительности относительно лучшего охлаждения - не говорится. У нас-то электричество - халявное зачастую)

У меня вопрос более практический - если есть несколько штук Avalon Single Module, которые максимально работают на 0.75В по докам - то реально ли загнать в недокументированный avalon-ом режим 0.9В эти модули?

 

Вопрос скорее инженерный, т.е. выдержит ли, например, система охлаждения в части чип-радиатор такую нагрузку?

Насколько можно будет повысить частоту чипа при таком росте напряжения?

этой информации я не нашел.

 

Т. е. хочется загнать купленное железо в максимально эффективный режим, при учете _бесплатного_электричества_, но чтобы оно не сгорело.

Что думаете?

[Oz]

В пропорциях. При разгоне чипы жрут значительно больше, нежели дают прирост. Так что идея достаточно сомнительная. Тут гораздо актуальнее энергопотребление и даунлок.

[erl]

В пропорциях. При разгоне чипы жрут значительно больше, нежели дают прирост. Так что идея достаточно сомнительная. Тут гораздо актуальнее энергопотребление и даунлок.

 

видео клевое, но, насколько я понял, в нем упор на то, что экономится электроэнергия на охлаждение. Про рост производительности относительно лучшего охлаждения - не говорится. У нас-то электричество - халявное зачастую)

У меня вопрос более практический - если есть несколько штук Avalon Single Module, которые максимально работают на 0.75В по докам - то реально ли загнать в недокументированный avalon-ом режим 0.9В эти модули?

 

Вопрос скорее инженерный, т.е. выдержит ли, например, система охлаждения в части чип-радиатор такую нагрузку?

Насколько можно будет повысить частоту чипа при таком росте напряжения?

этой информации я не нашел.

 

Т. е. хочется загнать купленное железо в максимально эффективный режим, при учете _бесплатного_электричества_, но чтобы оно не сгорело.

Что думаете?

Вы хоть немного к математике обращайтесь. Для asic-чипов эл-во вообще не актуально. Они съедают свою стоимость даже на дорогих тарифах лет 10. А вот то что чип меньше греется - снижает деградацию и вероятность сжечь его. И при правильно сделанном жидкостном охлаждении многие чипы можно разогнать раза в 1.5, что соответственно увеличит отдачу на вложенный капитал. У них часто даже радиатор сверху можно не вешать, потому что 80% тепла передается через контакты на плату. Т.е. снимать тепло надо с нижней части платы под чипом. Жидкостное охлаждение максимально эффективно снимает тепло за счет покрытия всей поверхности с обеих сторон.

В недокументированные режимы гнать чипы не надо. В описаниях на нормальные чипы задокументированы "турбо-режимы".

видео клевое, но, насколько я понял, в нем упор на то, что экономится электроэнергия на охлаждение. Про рост производительности относительно лучшего охлаждения - не говорится.

Электричество на жидкостном охлаждении экономится в основном за счет того, что менее греющиеся чипы меньше потребляют (за счет снижения тока утечки). Так же стартанувшие холодные видяхи потребляют на 20% меньше, чем через 10мин прогрева. А там где меньше температура - больше возможностей для разгона.

Изменено 18 авг 2014, 07:17 пользователем erl

[Kill54]

https://youtu.be/R5YuWNn-gO8

В тему. Иммерсионноное охлаждение

Изменено 26 дек 2017, 01:33 пользователем Kill54

[chelsanya]

имерсионое имхо переход жижи в пар и обратно. тока новек.  

на видео тупо, как все пост советские в силиконовом-кремнеевом масле асики. снято да красиво, подвал называть лабораторией могут только бешеные ученые.

он еще на ико хочет, лучшеб в цирк шел.

 

[Uliss]

5 часов назад, chelsanya сказал:

имерсионое имхо переход жижи в пар и обратно

 

ИММЕРСИОННЫЙ МЕТОД (от лат. immersio - погружение)

 

Соответственно, любой метод с погружением объекта в жидкость.

А далее "классика" с охлаждением объема нагревающейся жидкости или использование энергии фазового перехода - кипение этой жидкости со стабилизацией температуры на точке кипения. Сама-собой, последующая конденсация паров жидкости и возвращение в рабочий объем.

 

Точно так же, как и воздушка на медно-люминевых балбешках или тепловые (на фазовом переходе) трубки.