Jump to content
Sign in to follow this  
Silenceplt

Мать для кластера для GPU вычислений

Recommended Posts

Привет всем.

Как вы понимаете стоит задача несколько отличная от собрать майнинг-ферму.

Собственно нужен сервер для вычислений на видеокартах, но именно что сервер.

Требования надежности и стабильности на первом месте.

Поэтому ищу под это дело проверенную мамку в которую можно воткнуть 6 GTX1060

Если кто-то имел опытс серверными матерями типо той же supermicro - то это вообще идеал, потому что у них есть куча удобных "серверных" фич типа удаленной перегрузки.

 

Но за неимением подойдет любая мать, главное чтобы стабильно работала, ничего не отваливалось, в ребут не уходило и прочее.

Собственно ко всему оборудованию такие требования так что готов даже переплатить за надежность тех же райеров

Share this post


Link to post
Share on other sites

Мать нужна со слотами 6 x pcie x16 ?  Или для вычислений / рендеринга годится pcie x1 (с использованием райзеров х1 - х16) ? 

Вообще-то, насколько я понимаю, под серверной платой имеется ввиду нечто со встроенными HP iLO, Fujitsu IRMC, Dell iDRAC итд ? Но это же запросто over 9000 по баблу, т.е. гораздо дороже чем вставляемые туда 6 GTX1060 :

 

tm.thumb.jpg.952a9df78184e4ad4cf29dc81a1e75f5.jpg

Share this post


Link to post
Share on other sites

Добрый день,

x1 должно хватить, там нет потребности в больших скоростях подачи данных на GPU

Да, под серверной  я имел ввиду что-то с IPMI, даже простенькая супермикро это умеет.

Но на самом деле самое важное это стабильность работы, чтобы ничего не отваливалось по ходу. Остальное с горем пополам можно стерпеть

Edited by Silenceplt
исправление

Share this post


Link to post
Share on other sites

@Silenceplt , в соседней теме https://forum.bits.media/index.php?/topic/21130-8-видеокарт-на-одной-ферме-кто-ставил/

рассматривали и тестили серверные материнки на предмет установки 8 и более видеокарт, посмотри, где-то в середине темы.

Share this post


Link to post
Share on other sites

@Uliss Тема на 51 страницу :-D

Я её уже пытался осилить, но до конца не смог, попробую еще раз

На самом деле разговор про "серверные" это скорее к слову, я буду рад любой хорошей и стабильной матери

Share this post


Link to post
Share on other sites

@Silenceplt , в чем проблема с 6 картами?

Бери любую майнерную материнку и уперед!

Share this post


Link to post
Share on other sites

Ну проблема в том, что нужен хороший проц, минимум 64Г RAM и так далее

Не одними же ГРУ...

А для этого нужна мать которая это сдюжит, а большинство майнерских вообще на 1150 сокете, который больше 32Г RAM не принимает (да их там и воткнуть некуда)

Share this post


Link to post
Share on other sites
16 минут назад, Silenceplt сказал:

Ну проблема в том, что нужен хороший проц, минимум 64Г RAM и так далее

Не одними же ГРУ...

А для этого нужна мать которая это сдюжит, а большинство майнерских вообще на 1150 сокете, который больше 32Г RAM не принимает (да их там и воткнуть некуда)

https://market.yandex.ru/product--materinskaia-plata-asus-prime-h270-plus/1716322390/spec?track=tabs

 

с десяток ригов на ней у меня стоит, работают, пока Мосэнерго ЭЭ не вырубит, месяцами.

64гб поддерживает, сокет 1151

Share this post


Link to post
Share on other sites

@Varashilo 

6 минут назад, Varashilo сказал:

https://market.yandex.ru/product--materinskaia-plata-asus-prime-h270-plus/1716322390/spec?track=tabs

 

с десяток ригов на ней у меня стоит, работают, пока Мосэнерго ЭЭ не вырубит, месяцами.

64гб поддерживает, сокет 1151

Без ребутов? именно uptime месяцами? Какой проц? селерон как и у всех?

Share this post


Link to post
Share on other sites

Нет проблем со стабильностью на любых материнках и конфигурациях, стабильность упирается в нормальное питание и адекватный разгон/даунвольт. Тоже по 3000-5000 часов аптайма у себя много раз видел. Рекорды энергосбыт не даёт устанавливать.
А, ну ещё вентиляторы на некоторых моделях карт долго не живут. Референсы с турбинами решают.

Edited by AlexShmalex

Share this post


Link to post
Share on other sites
6 минут назад, AlexShmalex сказал:

стабильность упирается в нормальное питание и адекватный разгон/даунвольт

метод золотого сечения )) могу только дополнить - избыточность по питанию, дабы блок более 60-70% не напрягался, ну и вентиляция по феншую.

Share this post


Link to post
Share on other sites
47 минут назад, AlexShmalex сказал:

стабильность упирается в нормальное питание и адекватный разгон/даунвольт

Ну у меня вообще не входило в планы что-то гнать, или они с завода разогнанные так что отваливаются?

Share this post


Link to post
Share on other sites
2 минуты назад, Silenceplt сказал:

Ну у меня вообще не входило в планы что-то гнать, или они с завода разогнанные так что отваливаются?

А о каких картах вообще речь? И что майнить в планах?
С "завода" они как минимум жрут много и греются сильней. Не знаю, я не пробовал сток, ибо считаю это бессмысленно и экономически неоправданно. Но у всех свои цели и/или предрассудки.

Share this post


Link to post
Share on other sites

Майнить вообще не в планах, в планах нейросеточки считать на cuda.

 

>А о каких картах вообще речь?

GTX1060, каких именно - еще выбираю. Насчет даунвольтажа не думал, да и не умею я это пока.

Стоковые совсем плохи?

Share this post


Link to post
Share on other sites
Только что, Silenceplt сказал:

Майнить вообще не в планах, в планах нейросеточки считать на cuda.

 

>А о каких картах вообще речь?

GTX1060, каких именно - еще выбираю. Насчет даунвольтажа не думал, да и не умею я это пока.

Стоковые совсем плохи?

 

А, ну тут я не в теме, есть же всякие volta с тензорами для этих целей.
Nvidia в стоке норм, вплане дуанвольта..

Share this post


Link to post
Share on other sites
12 минут назад, AlexShmalex сказал:

Nvidia в стоке норм, вплане дуанвольта..

В смысле можно не трогать и оставить как есть?

А что по БП? 1200W хватит на 6 GTX1060?

Share this post


Link to post
Share on other sites

Такой еще вопрос.

Вот допустим есть серверная мама у которой вполне себе 24 PCIe линии, если не больше.

Но часто именно PCIe разъемов там немного, 2-4 не больше.

Можно ли как-то один x16 PCIe разъем превратить в 8 x2?

 

 

Edited by Silenceplt

Share this post


Link to post
Share on other sites

@DevCat 

Спасибо!

А ты этой мамой пользовался? У неё есть IPMI?

И вот такой момент. Мать на чипсете C612, про который на сайте интел написано что PCIe rev2 и Max PCIe lanes - 8. Ну и в целом это довольно старый чипсет, родом еще из 14 года.

https://ark.intel.com/products/81759/Intel-C612-Chipset

 

А в описании карты совсем другая инфа, как это так?

Edited by Silenceplt

Share this post


Link to post
Share on other sites
53 минуты назад, Silenceplt сказал:

@DevCat 

Спасибо!

А ты этой мамой пользовался? У неё есть IPMI?

И вот такой момент. Мать на чипсете C612, про который на сайте интел написано что PCIe rev2 и Max PCIe lanes - 8. Ну и в целом это довольно старый чипсет, родом еще из 14 года.

https://ark.intel.com/products/81759/Intel-C612-Chipset

 

А в описании карты совсем другая инфа, как это так?

1) Нет, не пользовался. Довольно часто натыкаюсь на объявления по продаже систем для рендеринга на ней (а причина может быть кроется в пункте 3). Так понимаю любят ее использовать те, кто рендерингом занимаются.

2) IPMI у нее есть.

3) Похоже ASUS нас обманывает про PCIev3 (Хотя  у них есть похожая мамка на новом чипсете: https://www.citilink.ru/catalog/computers_and_notebooks/servers_and_net_equipments/server_mbs/1050693/?gclid=EAIaIQobChMIqMHI-6Gh3gIVx0QYCh2tPwTNEAAYASAAEgI3X_D_BwE ).

И  гугление: z10pe-d16 ws 6 gpu выдает целую портянку результатов, где люди страдают с этой мамкой. В частности из-за того, что все слоты PCIe работают только с 2мя CPU. С одним только половина слотов...  

 

P.S. Если не изменяет память, то на форуме целая ветка была от человека, который на этой мамке ферму собрал и об подводных камнях (вроде как кулера сначала не встали, потом карта не цеплялась). Но сходу найти не могу ссылку на тему. Если найду, то добавлю сюда.

Edited by DevCat

Share this post


Link to post
Share on other sites

@DevCat А допустим вот Supermicro X11SPL-F

https://www.supermicro.com/products/motherboard/Xeon/C620/X11SPL-F.cfm

 

Вроде все есть, и IPMI и 7 PCIe слотов и относительно новый чипсет.

И стоит не так много вроде, и процы серверные влезут.

Ей никто не пользовался?

Share this post


Link to post
Share on other sites

image.thumb.png.a0e9b9beecad5a6ed266bbe53a655786.png

Может это не для этой темы, но поругайте сборку.

Ну в плане совместимости - стоит ожидать где-то проблем?

Share this post


Link to post
Share on other sites

@Silenceplt если будете заказывать, дробите посылки на разные адреса, макс 2-3 вк и 1000 евро

Share this post


Link to post
Share on other sites

@TheIllusiveMan Ну про 1000 евро я в курсе, а почему 2-3 вк?

Ну и как оно вообще, нормально по кофигу, мать хорошая? сдюжит 6 штук без проблем?

Ось будет ubuntu 18

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...