Мать для кластера для GPU вычислений

[Silenceplt]

Привет всем.

Как вы понимаете стоит задача несколько отличная от собрать майнинг-ферму.

Собственно нужен сервер для вычислений на видеокартах, но именно что сервер.

Требования надежности и стабильности на первом месте.

Поэтому ищу под это дело проверенную мамку в которую можно воткнуть 6 GTX1060

Если кто-то имел опытс серверными матерями типо той же supermicro - то это вообще идеал, потому что у них есть куча удобных "серверных" фич типа удаленной перегрузки.

 

Но за неимением подойдет любая мать, главное чтобы стабильно работала, ничего не отваливалось, в ребут не уходило и прочее.

Собственно ко всему оборудованию такие требования так что готов даже переплатить за надежность тех же райеров

[tankist]

Мать нужна со слотами 6 x pcie x16 ?  Или для вычислений / рендеринга годится pcie x1 (с использованием райзеров х1 - х16) ? 

Вообще-то, насколько я понимаю, под серверной платой имеется ввиду нечто со встроенными HP iLO, Fujitsu IRMC, Dell iDRAC итд ? Но это же запросто over 9000 по баблу, т.е. гораздо дороже чем вставляемые туда 6 GTX1060 :

 

[Silenceplt]

Добрый день,

x1 должно хватить, там нет потребности в больших скоростях подачи данных на GPU

Да, под серверной  я имел ввиду что-то с IPMI, даже простенькая супермикро это умеет.

Но на самом деле самое важное это стабильность работы, чтобы ничего не отваливалось по ходу. Остальное с горем пополам можно стерпеть

Edited 24 Oct 2018, 18:01 by Silenceplt
исправление

[Uliss]

@Silenceplt , в соседней теме https://forum.bits.media/index.php?/topic/21130-8-видеокарт-на-одной-ферме-кто-ставил/

рассматривали и тестили серверные материнки на предмет установки 8 и более видеокарт, посмотри, где-то в середине темы.

[Silenceplt]

@Uliss Тема на 51 страницу :-D

Я её уже пытался осилить, но до конца не смог, попробую еще раз

На самом деле разговор про "серверные" это скорее к слову, я буду рад любой хорошей и стабильной матери

[Uliss]

@Silenceplt , в чем проблема с 6 картами?

Бери любую майнерную материнку и уперед!

[Silenceplt]

Ну проблема в том, что нужен хороший проц, минимум 64Г RAM и так далее

Не одними же ГРУ...

А для этого нужна мать которая это сдюжит, а большинство майнерских вообще на 1150 сокете, который больше 32Г RAM не принимает (да их там и воткнуть некуда)

[tankist]

Ну, хотя бы так - https://www.msi.com/Motherboard/Z270-A-PRO/Specification

Есть пару ферм на таких платах, для задействования всех pcie слотов нужно устанавливать в UEFI, иначе нихт арбайтен

[Varashilo]

16 минут назад, Silenceplt сказал:

Ну проблема в том, что нужен хороший проц, минимум 64Г RAM и так далее

Не одними же ГРУ...

А для этого нужна мать которая это сдюжит, а большинство майнерских вообще на 1150 сокете, который больше 32Г RAM не принимает (да их там и воткнуть некуда)

https://market.yandex.ru/product--materinskaia-plata-asus-prime-h270-plus/1716322390/spec?track=tabs

 

с десяток ригов на ней у меня стоит, работают, пока Мосэнерго ЭЭ не вырубит, месяцами.

64гб поддерживает, сокет 1151

[Silenceplt]

@Varashilo 

6 минут назад, Varashilo сказал:

https://market.yandex.ru/product--materinskaia-plata-asus-prime-h270-plus/1716322390/spec?track=tabs

 

с десяток ригов на ней у меня стоит, работают, пока Мосэнерго ЭЭ не вырубит, месяцами.

64гб поддерживает, сокет 1151

Без ребутов? именно uptime месяцами? Какой проц? селерон как и у всех?

[AlexShmalex]

Нет проблем со стабильностью на любых материнках и конфигурациях, стабильность упирается в нормальное питание и адекватный разгон/даунвольт. Тоже по 3000-5000 часов аптайма у себя много раз видел. Рекорды энергосбыт не даёт устанавливать.
А, ну ещё вентиляторы на некоторых моделях карт долго не живут. Референсы с турбинами решают.

Edited 24 Oct 2018, 19:32 by AlexShmalex

[tankist]

6 минут назад, AlexShmalex сказал:

стабильность упирается в нормальное питание и адекватный разгон/даунвольт

метод золотого сечения )) могу только дополнить - избыточность по питанию, дабы блок более 60-70% не напрягался, ну и вентиляция по феншую.

[Silenceplt]

47 минут назад, AlexShmalex сказал:

стабильность упирается в нормальное питание и адекватный разгон/даунвольт

Ну у меня вообще не входило в планы что-то гнать, или они с завода разогнанные так что отваливаются?

[AlexShmalex]

2 минуты назад, Silenceplt сказал:

Ну у меня вообще не входило в планы что-то гнать, или они с завода разогнанные так что отваливаются?

А о каких картах вообще речь? И что майнить в планах?
С "завода" они как минимум жрут много и греются сильней. Не знаю, я не пробовал сток, ибо считаю это бессмысленно и экономически неоправданно. Но у всех свои цели и/или предрассудки.

[Silenceplt]

Майнить вообще не в планах, в планах нейросеточки считать на cuda.

 

>А о каких картах вообще речь?

GTX1060, каких именно - еще выбираю. Насчет даунвольтажа не думал, да и не умею я это пока.

Стоковые совсем плохи?

[AlexShmalex]

Только что, Silenceplt сказал:

Майнить вообще не в планах, в планах нейросеточки считать на cuda.

 

>А о каких картах вообще речь?

GTX1060, каких именно - еще выбираю. Насчет даунвольтажа не думал, да и не умею я это пока.

Стоковые совсем плохи?

 

А, ну тут я не в теме, есть же всякие volta с тензорами для этих целей.
Nvidia в стоке норм, вплане дуанвольта..

[Silenceplt]

12 минут назад, AlexShmalex сказал:

Nvidia в стоке норм, вплане дуанвольта..

В смысле можно не трогать и оставить как есть?

А что по БП? 1200W хватит на 6 GTX1060?

[Silenceplt]

Такой еще вопрос.

Вот допустим есть серверная мама у которой вполне себе 24 PCIe линии, если не больше.

Но часто именно PCIe разъемов там немного, 2-4 не больше.

Можно ли как-то один x16 PCIe разъем превратить в 8 x2?

 

 

Edited 25 Oct 2018, 08:07 by Silenceplt

[DevCat]

https://www.asus.com/us/Commercial-Servers-Workstations/Z10PED16_WS/

https://www.dns-shop.ru/product/2d571e055d253330/materinskaa-plata-asus-z10pe-d16-ws/characteristics/

Edited 25 Oct 2018, 08:26 by DevCat

[Silenceplt]

@DevCat 

Спасибо!

А ты этой мамой пользовался? У неё есть IPMI?

И вот такой момент. Мать на чипсете C612, про который на сайте интел написано что PCIe rev2 и Max PCIe lanes - 8. Ну и в целом это довольно старый чипсет, родом еще из 14 года.

https://ark.intel.com/products/81759/Intel-C612-Chipset

 

А в описании карты совсем другая инфа, как это так?

Edited 25 Oct 2018, 08:57 by Silenceplt

[DevCat]

53 минуты назад, Silenceplt сказал:

@DevCat 

Спасибо!

А ты этой мамой пользовался? У неё есть IPMI?

И вот такой момент. Мать на чипсете C612, про который на сайте интел написано что PCIe rev2 и Max PCIe lanes - 8. Ну и в целом это довольно старый чипсет, родом еще из 14 года.

https://ark.intel.com/products/81759/Intel-C612-Chipset

 

А в описании карты совсем другая инфа, как это так?

1) Нет, не пользовался. Довольно часто натыкаюсь на объявления по продаже систем для рендеринга на ней (а причина может быть кроется в пункте 3). Так понимаю любят ее использовать те, кто рендерингом занимаются.

2) IPMI у нее есть.

3) Похоже ASUS нас обманывает про PCIev3 (Хотя  у них есть похожая мамка на новом чипсете: https://www.citilink.ru/catalog/computers_and_notebooks/servers_and_net_equipments/server_mbs/1050693/?gclid=EAIaIQobChMIqMHI-6Gh3gIVx0QYCh2tPwTNEAAYASAAEgI3X_D_BwE ).

И  гугление: z10pe-d16 ws 6 gpu выдает целую портянку результатов, где люди страдают с этой мамкой. В частности из-за того, что все слоты PCIe работают только с 2мя CPU. С одним только половина слотов...  

 

P.S. Если не изменяет память, то на форуме целая ветка была от человека, который на этой мамке ферму собрал и об подводных камнях (вроде как кулера сначала не встали, потом карта не цеплялась). Но сходу найти не могу ссылку на тему. Если найду, то добавлю сюда.

Edited 25 Oct 2018, 09:47 by DevCat

[Silenceplt]

@DevCat А допустим вот Supermicro X11SPL-F

https://www.supermicro.com/products/motherboard/Xeon/C620/X11SPL-F.cfm

 

Вроде все есть, и IPMI и 7 PCIe слотов и относительно новый чипсет.

И стоит не так много вроде, и процы серверные влезут.

Ей никто не пользовался?

[Silenceplt]

Может это не для этой темы, но поругайте сборку.

Ну в плане совместимости - стоит ожидать где-то проблем?

[TheIllusiveMan]

@Silenceplt если будете заказывать, дробите посылки на разные адреса, макс 2-3 вк и 1000 евро

[Silenceplt]

@TheIllusiveMan Ну про 1000 евро я в курсе, а почему 2-3 вк?

Ну и как оно вообще, нормально по кофигу, мать хорошая? сдюжит 6 штук без проблем?

Ось будет ubuntu 18