Jump to content
Sirius_x

Конструкция, компоновка, охлаждение GPU на 19 карт

Recommended Posts

Предлагаю пообщаться на предмет конструкции GPU c 19 картами, размещения этих карт в риге, вариации охлаждения и питания.

Материнка Asus B250 Mining Expert

Процессор Intel Celeron G3900 2 core (Dual Core) CPU with 2.80 GHz

Оперативная память DDR4 4 GB х 2

Карты 19 шт. 106-100

Операционка - Linux

Корпус - алюминиевая профильная труба 15х15х1 мм, алюминиевый швеллер 20х20х20х2 мм, алюминиевый уголок 25х25х2 мм

Карты расположены в шахматном порядке в 4 ряда

Нижние видеокарты перевернуты для круговой вентиляции внутри рига 

Риг состоит из двух отсеков.

Питание - серверный блок на 2,7 кВт. 

Проектный вес 26-27 кг.

В каждом риге на выдув стоит канальный вентилятор на 920 куб. метров в час.

По расчету при температуре воздушного потока +35 на входе и выделении тепловой мощности 2,3 кВт будет разница в 7 градусов. 
Производительность вентилятора воздуховода будет регулировать Arduino. 

В дальнейшем подобные риги будут собираться воедино для разделения помещения на холодную и горячую зону. 

 

Хотелось бы услышать замечания, мнения, в компоновке, конструкции, охлаждении !
http://forumimage.ru/uploads/20171128/151184810259955067.jpg 
http://forumimage.ru/uploads/20171128/151184811151114141. jpg 
http://forumimage.ru/uploads/20171128/15118488165196111.jpg 
http://forumimage.ru/uploads/20171128/151184812419887711.jpg

http://forumimage.ru/uploads/20171129/15119331034390342.jpg 
http://forumimage.ru/uploads/20171129/151193311233383344.jpg

 

 

 

Edited by Sirius_x

Share this post


Link to post
Share on other sites

Очень просторная коробка получается! Если габариты устраивают, то вполне можно делать. 1060 никаких проблем охладить, я думаю карты переворачивать не нужно (посмотри, там же не удобно получается подключение питания)

Разводку серверника советую сделать на нулевых шинах, тогда можно будет красиво проложить все провода вдоль ребер (если конечно сам делаешь распайку).

 

Ну и 2.7кВт это с PL 60-70% только

Share this post


Link to post
Share on other sites
3 минуты назад, Rastishka сказал:

Ну и 2.7кВт это с PL 60-70% только

Не потянет разве ?

120 Ват х 19 = 2280 Ват + 200 Ват на все остальное.

 

11 минуту назад, Rastishka сказал:

я думаю карты переворачивать не нужно (посмотри, там же не удобно получается подключение питания)

 Да там вполне удобно получается и по доп питанию видеокарты и по райзеру 

5a1ea42d2cd06_8.thumb.jpg.c2f2d11b62d1ae3f16075f2be8eb2ccf.jpg

Share this post


Link to post
Share on other sites
3 часа назад, Sirius_x сказал:

Хотелось бы услышать замечания, мнения, в компоновке, конструкции, охлаждении !

 

Размахайка с необоснованно увеличенными габаритами.

 

151184811151114141.thumb.jpg.25e2eddff185ea83a112dae8df60e4d9.jpg

Share this post


Link to post
Share on other sites

Спасибо за замечания ! 

По электричеству еще раз пересчитал, да действительно просчитался!

Виртуально на калькуляторе разогнал Core Clock до 2006 MHz, Memory Clock до 2502 MHz на 19 карт с материнкой рекомендуют 3,4 кВт.

Поставлю наверно 2 серверных блока питания. 

Разводку на нулевых шинах. 

19 часов назад, Uliss сказал:

Размахайка с необоснованно увеличенными габаритами.

Учел замечания !

Изначально о чем то подобном и думал но сомневался в охлаждении и к длинным проводам для райзеров было недоверие.

Поменял компоновку и уменьшил габариты.

Так лучше ?

5a1fcaee5cf2b_9.thumb.jpg.94d285150a575062c64750a2cff15767.jpg5a1fcaec10209_10.thumb.jpg.ed66a03c59a85b06f415805f4e204538.jpg5a1fcaea22592_11.thumb.jpg.8ba41c13aeb57578ea1b94d757e417ce.jpg5a1fcae80d332_12.thumb.jpg.9b51b7815059d96d19f49adb3d28443e.jpg5a1fcae5b1b96_13.thumb.jpg.8e43c7554dbfa5b4ae473fab9513f8b3.jpg5a1fcae38ed35_14.thumb.jpg.aee46afea665080e5b2591680521b775.jpg5a1fcae1f0cb3_15.thumb.jpg.1889912b3b8975248aa35e8505cd417b.jpg

   

Share this post


Link to post
Share on other sites

19 GPU вот тут практический опыт.

По мне, так не стоит оно того:dry: Там, кстати, не запускалось на одинаковых видяхах + с разгоном проблемы.

 

Сам каркас я бы делал в 2 ряда по 10 карт друг над другом, высотою под твой собирающий короб. Материнка и БП внизу.

 

Share this post


Link to post
Share on other sites
7 минут назад, Rastishka сказал:

Сам каркас я бы делал в 2 ряда по 10 карт друг над другом, высотою под твой собирающий короб. Материнка и БП внизу.

 

А как по мне, то для 19 карт оптимально вертикальное размещение в один ярус, материнка ниже карт, БП по сторонам.

Выигрышное расположение как по питанию, так и подключению райзеров к материнке.

Да и такая ферма будет гораздо компактней и удобней в обслуживании.

Share this post


Link to post
Share on other sites
14 минуты назад, Uliss сказал:

Да и такая ферма будет гораздо компактней и удобней в обслуживании

А как на счет вентиляции и масштабирования ?

Share this post


Link to post
Share on other sites
27 минут назад, Rastishka сказал:

вот тут практический опыт.

ИМХО Даже если только 13 карт будут работать то уже есть смысл брать именно эту материнку.

Так сказать на вырост и сокращая расходы на тушки. 

 

Share this post


Link to post
Share on other sites
49 минут назад, Sirius_x сказал:

А как на счет вентиляции и масштабирования ?

 

А какая разница как продувать - вдоль или поперек?

Все точно так же. Ставь ярусами или рядами каркасы - в чем проблема?

Но при вертикальном размещении карт разъемы ДП находятся в самом низу, укорачивая питающие концы и кабели райзеров в материнку идут практически вертикально, по короткому расстоянию.

Share this post


Link to post
Share on other sites
4 минуты назад, Uliss сказал:

А какая разница как продувать - вдоль или поперек?

Ну если смотреть примеры представленных каркасов для 6-8 карт, а также тех же панд то все вдоль продувают.   

Люди уже прошли по граблям и поэтому думается что только так и не как по другому.

Поперек же будут постоянные препятствия на пути воздуха соответственно будет тяжело обеспечить постоянное движение.

Поток ведь длину любит 

   

 

 

Share this post


Link to post
Share on other sites
2 часа назад, Sirius_x сказал:

Поток ведь длину любит 

 

Сам додумал или подсказал кто?

Поток, как водный, так и воздушный, любит использует наикратчайшие расстояния и минимальное сопротивление движению от входа до выхода.

Это физика.

А любит - не любит - это лирика.

Share this post


Link to post
Share on other sites
10 минут назад, Uliss сказал:

Поток, как водный

С водным хорошо знаком и длину он точно чтит  ;-)

 

Share this post


Link to post
Share on other sites

Вариант расстановки 27-28 кг ригов.

В такой компоновке совсем мало места осталось для обслуживания, в предыдущей компоновке из центрального пустого отсека можно было подлезть к любому разъему и вытащить любую карту. При этом риг останется на своем постоянном месте.

Чет прям задумался, а нужна ли эта компактность ! 

5a203b3e2cc6e_.thumb.jpg.f8dc1674a5fcc5d71cdff7d64cb43500.jpg

5a203d15c60b1_1.thumb.jpg.17c842c4b5023bf8c9628fdc37aeab94.jpg

Share this post


Link to post
Share on other sites

@Sirius_x  это бред.

Ошибка в расположении видеокарт в 2 ряда по глубине каркаса. Карты должны стоять в один ряд и сниматься снаружи.

Или целиком выкатываться весь каркас фермы.

Share this post


Link to post
Share on other sites
14 часа назад, Uliss сказал:

Или целиком выкатываться весь каркас фермы

Не хочется заниматься такими механизмами.

Тут вроде с трех сторон можно подойти и обслужить и при этом риг на постоянном месте всегда.

14 часа назад, Uliss сказал:

Ошибка в расположении видеокарт в 2 ряда по глубине каркаса

Да согласен!

Длина проводов в 60 см очень ограничивает.

Вот так в один ряд.

Можно снять легко любую карту и есть доступ к любому разъему.

Направление потока слева на право.  

5a214729692c6_16.thumb.jpg.1a09cb20897a7e9e8021d48c0e7b11b5.jpg5a2147279574a_17.thumb.jpg.675383140807858e677466e1ae56fb1c.jpg    

Edited by Sirius_x

Share this post


Link to post
Share on other sites

Можно и так оставить, в два ряда, но мамку приделать сзади видях/картинки и тогда хватит длины проводов на все карты.

Share this post


Link to post
Share on other sites
2 часа назад, Lexis77 сказал:

Можно и так оставить, в два ряда, но мамку приделать сзади видях/картинки и тогда хватит длины проводов на все карты.

Да, но тогда одна сторона будет закрыта для обслуживания этой материнкой и чтобы снять средние карты надо будет снимать материнку для доступа к дальнему креплению видеокарт.

Её бы в середину вставить !

Edited by Sirius_x

Share this post


Link to post
Share on other sites

А че там обслуживать?

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.

  • Similar Topics

    • Корпуса АТХ, 3U, 4U для GPU фермы. Конструкция, компоновка, охлаждение.

      @iRybin, по райзерам у меня предпочтения, основанные на конкретной конструкции. Примерил я к себе УСБ-райзеры и оказалось все гораздо больше в размерах по высоте установки карты над платой. А я ограничен по высоте шириной корпуса АТХ.   По памяти - реально выручало. Нужно собрать новую платформу для тестов или майнинга - просто беру нужное количество ГБ планками одинаковой скорости.   Забирай у меня InWin R3000 http://www.nix.ru/autocatalog/cases_inwin/Server-Case-INWIN-R3000-Grey-E-ATX-600

      in Вентиляция и охлаждение

    • Иммерсионное охлаждение БП

      Всех с праздником! Имею иммерсионную ванну для 4 асиков S9, утоплены только сами приборы. Имею огромное желание утопить и блоки питания(AWP3), чтоб было совсем тихо)) Хочу понять, как будет влиять жижа на сам блок, и что он неё может в нём политеть? (жижа дешевая) 

      in Вентиляция и охлаждение

    • Иммерсионное охлаждение майнинг-ферм

      Приветствую коллег и хочу предложить тему "колхозного" иммерсионного охлаждения оборудования для майнинга. При всем уважении к профессиональным производителям данного оборудования мы хотим показать, что собрать собственную "мокрую" ферму можно из товаров из ближайших магазинов электротоваров и хозяйственных товаров. Очевидные преимущества иммерсионного охлаждения: 1. Более эффективное охлаждение процессоров позволяет повышать частоту и производительность оборудования. 2. Можно пол

      in Вентиляция и охлаждение

    • Охлаждение асиков сухой водой

      Многие на выставках уже показывают свои "прототипы" якобы "чудо вода", погружаем асик и получаем идеальное охлаждение, + разгон на 20-30% спокойно делают. Ну что ж, технология уже старая и давно не ноу-хау используется - Газовое пожаротушение Novec 1230 это и есть жидкость которую пиарят на ютуб канале вот этот человек https://www.youtube.com/watch?time_continue=1&v=R5YuWNn-gO8 ну или 3M Novec 7100 https://www.youtube.com/watch?v=HcBTYOOXX2o   Но назвал он Фторкетон ФК-5-1-12

      in Вентиляция и охлаждение

    • Иммерсионное охлаждение асиков и ферм

      Привет всем ! как вам мысль поместить асик или ферму в жидкость пмс5 и циркуляцию ее осуществлять через чиллер? в планах попробовать чиллер для охлаждения аквариумов !

      in Вентиляция и охлаждение

×
×
  • Create New...