Перейти к публикации
Silenceplt

Мать для кластера для GPU вычислений

Рекомендованные сообщения

Привет всем.

Как вы понимаете стоит задача несколько отличная от собрать майнинг-ферму.

Собственно нужен сервер для вычислений на видеокартах, но именно что сервер.

Требования надежности и стабильности на первом месте.

Поэтому ищу под это дело проверенную мамку в которую можно воткнуть 6 GTX1060

Если кто-то имел опытс серверными матерями типо той же supermicro - то это вообще идеал, потому что у них есть куча удобных "серверных" фич типа удаленной перегрузки.

 

Но за неимением подойдет любая мать, главное чтобы стабильно работала, ничего не отваливалось, в ребут не уходило и прочее.

Собственно ко всему оборудованию такие требования так что готов даже переплатить за надежность тех же райеров

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Мать нужна со слотами 6 x pcie x16 ?  Или для вычислений / рендеринга годится pcie x1 (с использованием райзеров х1 - х16) ? 

Вообще-то, насколько я понимаю, под серверной платой имеется ввиду нечто со встроенными HP iLO, Fujitsu IRMC, Dell iDRAC итд ? Но это же запросто over 9000 по баблу, т.е. гораздо дороже чем вставляемые туда 6 GTX1060 :

 

tm.thumb.jpg.952a9df78184e4ad4cf29dc81a1e75f5.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Добрый день,

x1 должно хватить, там нет потребности в больших скоростях подачи данных на GPU

Да, под серверной  я имел ввиду что-то с IPMI, даже простенькая супермикро это умеет.

Но на самом деле самое важное это стабильность работы, чтобы ничего не отваливалось по ходу. Остальное с горем пополам можно стерпеть

Изменено пользователем Silenceplt
исправление

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

@Silenceplt , в соседней теме https://forum.bits.media/index.php?/topic/21130-8-видеокарт-на-одной-ферме-кто-ставил/

рассматривали и тестили серверные материнки на предмет установки 8 и более видеокарт, посмотри, где-то в середине темы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

@Uliss Тема на 51 страницу :-D

Я её уже пытался осилить, но до конца не смог, попробую еще раз

На самом деле разговор про "серверные" это скорее к слову, я буду рад любой хорошей и стабильной матери

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

@Silenceplt , в чем проблема с 6 картами?

Бери любую майнерную материнку и уперед!

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну проблема в том, что нужен хороший проц, минимум 64Г RAM и так далее

Не одними же ГРУ...

А для этого нужна мать которая это сдюжит, а большинство майнерских вообще на 1150 сокете, который больше 32Г RAM не принимает (да их там и воткнуть некуда)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну, хотя бы так - https://www.msi.com/Motherboard/Z270-A-PRO/Specification

Есть пару ферм на таких платах, для задействования всех pcie слотов нужно устанавливать в UEFI, иначе нихт арбайтен

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
16 минут назад, Silenceplt сказал:

Ну проблема в том, что нужен хороший проц, минимум 64Г RAM и так далее

Не одними же ГРУ...

А для этого нужна мать которая это сдюжит, а большинство майнерских вообще на 1150 сокете, который больше 32Г RAM не принимает (да их там и воткнуть некуда)

https://market.yandex.ru/product--materinskaia-plata-asus-prime-h270-plus/1716322390/spec?track=tabs

 

с десяток ригов на ней у меня стоит, работают, пока Мосэнерго ЭЭ не вырубит, месяцами.

64гб поддерживает, сокет 1151

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

@Varashilo 

6 минут назад, Varashilo сказал:

https://market.yandex.ru/product--materinskaia-plata-asus-prime-h270-plus/1716322390/spec?track=tabs

 

с десяток ригов на ней у меня стоит, работают, пока Мосэнерго ЭЭ не вырубит, месяцами.

64гб поддерживает, сокет 1151

Без ребутов? именно uptime месяцами? Какой проц? селерон как и у всех?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Нет проблем со стабильностью на любых материнках и конфигурациях, стабильность упирается в нормальное питание и адекватный разгон/даунвольт. Тоже по 3000-5000 часов аптайма у себя много раз видел. Рекорды энергосбыт не даёт устанавливать.
А, ну ещё вентиляторы на некоторых моделях карт долго не живут. Референсы с турбинами решают.

Изменено пользователем AlexShmalex

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
6 минут назад, AlexShmalex сказал:

стабильность упирается в нормальное питание и адекватный разгон/даунвольт

метод золотого сечения )) могу только дополнить - избыточность по питанию, дабы блок более 60-70% не напрягался, ну и вентиляция по феншую.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
47 минут назад, AlexShmalex сказал:

стабильность упирается в нормальное питание и адекватный разгон/даунвольт

Ну у меня вообще не входило в планы что-то гнать, или они с завода разогнанные так что отваливаются?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
2 минуты назад, Silenceplt сказал:

Ну у меня вообще не входило в планы что-то гнать, или они с завода разогнанные так что отваливаются?

А о каких картах вообще речь? И что майнить в планах?
С "завода" они как минимум жрут много и греются сильней. Не знаю, я не пробовал сток, ибо считаю это бессмысленно и экономически неоправданно. Но у всех свои цели и/или предрассудки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Майнить вообще не в планах, в планах нейросеточки считать на cuda.

 

>А о каких картах вообще речь?

GTX1060, каких именно - еще выбираю. Насчет даунвольтажа не думал, да и не умею я это пока.

Стоковые совсем плохи?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Только что, Silenceplt сказал:

Майнить вообще не в планах, в планах нейросеточки считать на cuda.

 

>А о каких картах вообще речь?

GTX1060, каких именно - еще выбираю. Насчет даунвольтажа не думал, да и не умею я это пока.

Стоковые совсем плохи?

 

А, ну тут я не в теме, есть же всякие volta с тензорами для этих целей.
Nvidia в стоке норм, вплане дуанвольта..

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
12 минут назад, AlexShmalex сказал:

Nvidia в стоке норм, вплане дуанвольта..

В смысле можно не трогать и оставить как есть?

А что по БП? 1200W хватит на 6 GTX1060?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Такой еще вопрос.

Вот допустим есть серверная мама у которой вполне себе 24 PCIe линии, если не больше.

Но часто именно PCIe разъемов там немного, 2-4 не больше.

Можно ли как-то один x16 PCIe разъем превратить в 8 x2?

 

 

Изменено пользователем Silenceplt

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

@DevCat 

Спасибо!

А ты этой мамой пользовался? У неё есть IPMI?

И вот такой момент. Мать на чипсете C612, про который на сайте интел написано что PCIe rev2 и Max PCIe lanes - 8. Ну и в целом это довольно старый чипсет, родом еще из 14 года.

https://ark.intel.com/products/81759/Intel-C612-Chipset

 

А в описании карты совсем другая инфа, как это так?

Изменено пользователем Silenceplt

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
53 минуты назад, Silenceplt сказал:

@DevCat 

Спасибо!

А ты этой мамой пользовался? У неё есть IPMI?

И вот такой момент. Мать на чипсете C612, про который на сайте интел написано что PCIe rev2 и Max PCIe lanes - 8. Ну и в целом это довольно старый чипсет, родом еще из 14 года.

https://ark.intel.com/products/81759/Intel-C612-Chipset

 

А в описании карты совсем другая инфа, как это так?

1) Нет, не пользовался. Довольно часто натыкаюсь на объявления по продаже систем для рендеринга на ней (а причина может быть кроется в пункте 3). Так понимаю любят ее использовать те, кто рендерингом занимаются.

2) IPMI у нее есть.

3) Похоже ASUS нас обманывает про PCIev3 (Хотя  у них есть похожая мамка на новом чипсете: https://www.citilink.ru/catalog/computers_and_notebooks/servers_and_net_equipments/server_mbs/1050693/?gclid=EAIaIQobChMIqMHI-6Gh3gIVx0QYCh2tPwTNEAAYASAAEgI3X_D_BwE ).

И  гугление: z10pe-d16 ws 6 gpu выдает целую портянку результатов, где люди страдают с этой мамкой. В частности из-за того, что все слоты PCIe работают только с 2мя CPU. С одним только половина слотов...  

 

P.S. Если не изменяет память, то на форуме целая ветка была от человека, который на этой мамке ферму собрал и об подводных камнях (вроде как кулера сначала не встали, потом карта не цеплялась). Но сходу найти не могу ссылку на тему. Если найду, то добавлю сюда.

Изменено пользователем DevCat

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

@DevCat А допустим вот Supermicro X11SPL-F

https://www.supermicro.com/products/motherboard/Xeon/C620/X11SPL-F.cfm

 

Вроде все есть, и IPMI и 7 PCIe слотов и относительно новый чипсет.

И стоит не так много вроде, и процы серверные влезут.

Ей никто не пользовался?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

image.thumb.png.a0e9b9beecad5a6ed266bbe53a655786.png

Может это не для этой темы, но поругайте сборку.

Ну в плане совместимости - стоит ожидать где-то проблем?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

@Silenceplt если будете заказывать, дробите посылки на разные адреса, макс 2-3 вк и 1000 евро

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

@TheIllusiveMan Ну про 1000 евро я в курсе, а почему 2-3 вк?

Ну и как оно вообще, нормально по кофигу, мать хорошая? сдюжит 6 штук без проблем?

Ось будет ubuntu 18

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу.

×