Конструкция, компоновка, охлаждение GPU на 19 карт

[Sirius_x 14]

Предлагаю пообщаться на предмет конструкции GPU c 19 картами, размещения этих карт в риге, вариации охлаждения и питания.

Материнка Asus B250 Mining Expert

Процессор Intel Celeron G3900 2 core (Dual Core) CPU with 2.80 GHz

Оперативная память DDR4 4 GB х 2

Карты 19 шт. 106-100

Операционка - Linux

Корпус - алюминиевая профильная труба 15х15х1 мм, алюминиевый швеллер 20х20х20х2 мм, алюминиевый уголок 25х25х2 мм

Карты расположены в шахматном порядке в 4 ряда

Нижние видеокарты перевернуты для круговой вентиляции внутри рига 

Риг состоит из двух отсеков.

Питание - серверный блок на 2,7 кВт. 

Проектный вес 26-27 кг.

В каждом риге на выдув стоит канальный вентилятор на 920 куб. метров в час.

По расчету при температуре воздушного потока +35 на входе и выделении тепловой мощности 2,3 кВт будет разница в 7 градусов. 
Производительность вентилятора воздуховода будет регулировать Arduino. 

В дальнейшем подобные риги будут собираться воедино для разделения помещения на холодную и горячую зону. 

 

Хотелось бы услышать замечания, мнения, в компоновке, конструкции, охлаждении !
http://forumimage.ru/uploads/20171128/151184810259955067.jpg 
http://forumimage.ru/uploads/20171128/151184811151114141. jpg 
http://forumimage.ru/uploads/20171128/15118488165196111.jpg 
http://forumimage.ru/uploads/20171128/151184812419887711.jpg

http://forumimage.ru/uploads/20171129/15119331034390342.jpg 
http://forumimage.ru/uploads/20171129/151193311233383344.jpg

 

 

 

Edited 29 Nov 2017, 09:27 by Sirius_x

[Rastishka 280]

Очень просторная коробка получается! Если габариты устраивают, то вполне можно делать. 1060 никаких проблем охладить, я думаю карты переворачивать не нужно (посмотри, там же не удобно получается подключение питания)

Разводку серверника советую сделать на нулевых шинах, тогда можно будет красиво проложить все провода вдоль ребер (если конечно сам делаешь распайку).

 

Ну и 2.7кВт это с PL 60-70% только

[Sirius_x 14]

3 минуты назад, Rastishka сказал:

Ну и 2.7кВт это с PL 60-70% только

Не потянет разве ?

120 Ват х 19 = 2280 Ват + 200 Ват на все остальное.

 

11 минуту назад, Rastishka сказал:

я думаю карты переворачивать не нужно (посмотри, там же не удобно получается подключение питания)

 Да там вполне удобно получается и по доп питанию видеокарты и по райзеру 

[Uliss 10246]

3 часа назад, Sirius_x сказал:

Хотелось бы услышать замечания, мнения, в компоновке, конструкции, охлаждении !

 

Размахайка с необоснованно увеличенными габаритами.

 

[Sirius_x 14]

Спасибо за замечания ! 

По электричеству еще раз пересчитал, да действительно просчитался!

Виртуально на калькуляторе разогнал Core Clock до 2006 MHz, Memory Clock до 2502 MHz на 19 карт с материнкой рекомендуют 3,4 кВт.

Поставлю наверно 2 серверных блока питания. 

Разводку на нулевых шинах. 

19 часов назад, Uliss сказал:

Размахайка с необоснованно увеличенными габаритами.

Учел замечания !

Изначально о чем то подобном и думал но сомневался в охлаждении и к длинным проводам для райзеров было недоверие.

Поменял компоновку и уменьшил габариты.

Так лучше ?

   

[Rastishka 280]

19 GPU вот тут практический опыт.

По мне, так не стоит оно того Там, кстати, не запускалось на одинаковых видяхах + с разгоном проблемы.

 

Сам каркас я бы делал в 2 ряда по 10 карт друг над другом, высотою под твой собирающий короб. Материнка и БП внизу.

 

[Uliss 10246]

7 минут назад, Rastishka сказал:

Сам каркас я бы делал в 2 ряда по 10 карт друг над другом, высотою под твой собирающий короб. Материнка и БП внизу.

 

А как по мне, то для 19 карт оптимально вертикальное размещение в один ярус, материнка ниже карт, БП по сторонам.

Выигрышное расположение как по питанию, так и подключению райзеров к материнке.

Да и такая ферма будет гораздо компактней и удобней в обслуживании.

[Sirius_x 14]

14 минуты назад, Uliss сказал:

Да и такая ферма будет гораздо компактней и удобней в обслуживании

А как на счет вентиляции и масштабирования ?

[Sirius_x 14]

27 минут назад, Rastishka сказал:

вот тут практический опыт.

ИМХО Даже если только 13 карт будут работать то уже есть смысл брать именно эту материнку.

Так сказать на вырост и сокращая расходы на тушки. 

 

[Uliss 10246]

49 минут назад, Sirius_x сказал:

А как на счет вентиляции и масштабирования ?

 

А какая разница как продувать - вдоль или поперек?

Все точно так же. Ставь ярусами или рядами каркасы - в чем проблема?

Но при вертикальном размещении карт разъемы ДП находятся в самом низу, укорачивая питающие концы и кабели райзеров в материнку идут практически вертикально, по короткому расстоянию.

[Sirius_x 14]

4 минуты назад, Uliss сказал:

А какая разница как продувать - вдоль или поперек?

Ну если смотреть примеры представленных каркасов для 6-8 карт, а также тех же панд то все вдоль продувают.   

Люди уже прошли по граблям и поэтому думается что только так и не как по другому.

Поперек же будут постоянные препятствия на пути воздуха соответственно будет тяжело обеспечить постоянное движение.

Поток ведь длину любит 

   

 

 

[Uliss 10246]

2 часа назад, Sirius_x сказал:

Поток ведь длину любит 

 

Сам додумал или подсказал кто?

Поток, как водный, так и воздушный, любит использует наикратчайшие расстояния и минимальное сопротивление движению от входа до выхода.

Это физика.

А любит - не любит - это лирика.

[Sirius_x 14]

10 минут назад, Uliss сказал:

Поток, как водный

С водным хорошо знаком и длину он точно чтит  ;-)

 

[Sirius_x 14]

Вариант расстановки 27-28 кг ригов.

В такой компоновке совсем мало места осталось для обслуживания, в предыдущей компоновке из центрального пустого отсека можно было подлезть к любому разъему и вытащить любую карту. При этом риг останется на своем постоянном месте.

Чет прям задумался, а нужна ли эта компактность ! 

[Uliss 10246]

@Sirius_x  это бред.

Ошибка в расположении видеокарт в 2 ряда по глубине каркаса. Карты должны стоять в один ряд и сниматься снаружи.

Или целиком выкатываться весь каркас фермы.

[Sirius_x 14]

14 часа назад, Uliss сказал:

Или целиком выкатываться весь каркас фермы

Не хочется заниматься такими механизмами.

Тут вроде с трех сторон можно подойти и обслужить и при этом риг на постоянном месте всегда.

14 часа назад, Uliss сказал:

Ошибка в расположении видеокарт в 2 ряда по глубине каркаса

Да согласен!

Длина проводов в 60 см очень ограничивает.

Вот так в один ряд.

Можно снять легко любую карту и есть доступ к любому разъему.

Направление потока слева на право.  

    

Edited 1 Dec 2017, 12:18 by Sirius_x

[Lexis77 11876]

Можно и так оставить, в два ряда, но мамку приделать сзади видях/картинки и тогда хватит длины проводов на все карты.

[Sirius_x 14]

2 часа назад, Lexis77 сказал:

Можно и так оставить, в два ряда, но мамку приделать сзади видях/картинки и тогда хватит длины проводов на все карты.

Да, но тогда одна сторона будет закрыта для обслуживания этой материнкой и чтобы снять средние карты надо будет снимать материнку для доступа к дальнему креплению видеокарт.

Её бы в середину вставить !

Edited 1 Dec 2017, 15:13 by Sirius_x

[Lexis77 11876]

А че там обслуживать?