Перейти к содержанию

Мать для кластера для GPU вычислений


Silenceplt

Рекомендуемые сообщения

Привет всем.

Как вы понимаете стоит задача несколько отличная от собрать майнинг-ферму.

Собственно нужен сервер для вычислений на видеокартах, но именно что сервер.

Требования надежности и стабильности на первом месте.

Поэтому ищу под это дело проверенную мамку в которую можно воткнуть 6 GTX1060

Если кто-то имел опытс серверными матерями типо той же supermicro - то это вообще идеал, потому что у них есть куча удобных "серверных" фич типа удаленной перегрузки.

 

Но за неимением подойдет любая мать, главное чтобы стабильно работала, ничего не отваливалось, в ребут не уходило и прочее.

Собственно ко всему оборудованию такие требования так что готов даже переплатить за надежность тех же райеров

Ссылка на комментарий
Поделиться на другие сайты

Мать нужна со слотами 6 x pcie x16 ?  Или для вычислений / рендеринга годится pcie x1 (с использованием райзеров х1 - х16) ? 

Вообще-то, насколько я понимаю, под серверной платой имеется ввиду нечто со встроенными HP iLO, Fujitsu IRMC, Dell iDRAC итд ? Но это же запросто over 9000 по баблу, т.е. гораздо дороже чем вставляемые туда 6 GTX1060 :

 

tm.thumb.jpg.952a9df78184e4ad4cf29dc81a1e75f5.jpg

Ссылка на комментарий
Поделиться на другие сайты

Добрый день,

x1 должно хватить, там нет потребности в больших скоростях подачи данных на GPU

Да, под серверной  я имел ввиду что-то с IPMI, даже простенькая супермикро это умеет.

Но на самом деле самое важное это стабильность работы, чтобы ничего не отваливалось по ходу. Остальное с горем пополам можно стерпеть

Изменено пользователем Silenceplt
исправление
Ссылка на комментарий
Поделиться на другие сайты

@Silenceplt , в соседней теме https://forum.bits.media/index.php?/topic/21130-8-видеокарт-на-одной-ферме-кто-ставил/

рассматривали и тестили серверные материнки на предмет установки 8 и более видеокарт, посмотри, где-то в середине темы.

Ссылка на комментарий
Поделиться на другие сайты

@Uliss Тема на 51 страницу :-D

Я её уже пытался осилить, но до конца не смог, попробую еще раз

На самом деле разговор про "серверные" это скорее к слову, я буду рад любой хорошей и стабильной матери

Ссылка на комментарий
Поделиться на другие сайты

@Silenceplt , в чем проблема с 6 картами?

Бери любую майнерную материнку и уперед!

Ссылка на комментарий
Поделиться на другие сайты

Ну проблема в том, что нужен хороший проц, минимум 64Г RAM и так далее

Не одними же ГРУ...

А для этого нужна мать которая это сдюжит, а большинство майнерских вообще на 1150 сокете, который больше 32Г RAM не принимает (да их там и воткнуть некуда)

Ссылка на комментарий
Поделиться на другие сайты

Ну, хотя бы так - https://www.msi.com/Motherboard/Z270-A-PRO/Specification

Есть пару ферм на таких платах, для задействования всех pcie слотов нужно устанавливать в UEFI, иначе нихт арбайтен

Ссылка на комментарий
Поделиться на другие сайты

16 минут назад, Silenceplt сказал:

Ну проблема в том, что нужен хороший проц, минимум 64Г RAM и так далее

Не одними же ГРУ...

А для этого нужна мать которая это сдюжит, а большинство майнерских вообще на 1150 сокете, который больше 32Г RAM не принимает (да их там и воткнуть некуда)

https://market.yandex.ru/product--materinskaia-plata-asus-prime-h270-plus/1716322390/spec?track=tabs

 

с десяток ригов на ней у меня стоит, работают, пока Мосэнерго ЭЭ не вырубит, месяцами.

64гб поддерживает, сокет 1151

Ссылка на комментарий
Поделиться на другие сайты

@Varashilo 

6 минут назад, Varashilo сказал:

https://market.yandex.ru/product--materinskaia-plata-asus-prime-h270-plus/1716322390/spec?track=tabs

 

с десяток ригов на ней у меня стоит, работают, пока Мосэнерго ЭЭ не вырубит, месяцами.

64гб поддерживает, сокет 1151

Без ребутов? именно uptime месяцами? Какой проц? селерон как и у всех?

Ссылка на комментарий
Поделиться на другие сайты

Нет проблем со стабильностью на любых материнках и конфигурациях, стабильность упирается в нормальное питание и адекватный разгон/даунвольт. Тоже по 3000-5000 часов аптайма у себя много раз видел. Рекорды энергосбыт не даёт устанавливать.
А, ну ещё вентиляторы на некоторых моделях карт долго не живут. Референсы с турбинами решают.

Изменено пользователем AlexShmalex
Ссылка на комментарий
Поделиться на другие сайты

6 минут назад, AlexShmalex сказал:

стабильность упирается в нормальное питание и адекватный разгон/даунвольт

метод золотого сечения )) могу только дополнить - избыточность по питанию, дабы блок более 60-70% не напрягался, ну и вентиляция по феншую.

Ссылка на комментарий
Поделиться на другие сайты

47 минут назад, AlexShmalex сказал:

стабильность упирается в нормальное питание и адекватный разгон/даунвольт

Ну у меня вообще не входило в планы что-то гнать, или они с завода разогнанные так что отваливаются?

Ссылка на комментарий
Поделиться на другие сайты

2 минуты назад, Silenceplt сказал:

Ну у меня вообще не входило в планы что-то гнать, или они с завода разогнанные так что отваливаются?

А о каких картах вообще речь? И что майнить в планах?
С "завода" они как минимум жрут много и греются сильней. Не знаю, я не пробовал сток, ибо считаю это бессмысленно и экономически неоправданно. Но у всех свои цели и/или предрассудки.

Ссылка на комментарий
Поделиться на другие сайты

Майнить вообще не в планах, в планах нейросеточки считать на cuda.

 

>А о каких картах вообще речь?

GTX1060, каких именно - еще выбираю. Насчет даунвольтажа не думал, да и не умею я это пока.

Стоковые совсем плохи?

Ссылка на комментарий
Поделиться на другие сайты

Только что, Silenceplt сказал:

Майнить вообще не в планах, в планах нейросеточки считать на cuda.

 

>А о каких картах вообще речь?

GTX1060, каких именно - еще выбираю. Насчет даунвольтажа не думал, да и не умею я это пока.

Стоковые совсем плохи?

 

А, ну тут я не в теме, есть же всякие volta с тензорами для этих целей.
Nvidia в стоке норм, вплане дуанвольта..

Ссылка на комментарий
Поделиться на другие сайты

12 минут назад, AlexShmalex сказал:

Nvidia в стоке норм, вплане дуанвольта..

В смысле можно не трогать и оставить как есть?

А что по БП? 1200W хватит на 6 GTX1060?

Ссылка на комментарий
Поделиться на другие сайты

Такой еще вопрос.

Вот допустим есть серверная мама у которой вполне себе 24 PCIe линии, если не больше.

Но часто именно PCIe разъемов там немного, 2-4 не больше.

Можно ли как-то один x16 PCIe разъем превратить в 8 x2?

 

 

Изменено пользователем Silenceplt
Ссылка на комментарий
Поделиться на другие сайты

Ссылка на комментарий
Поделиться на другие сайты

@DevCat 

Спасибо!

А ты этой мамой пользовался? У неё есть IPMI?

И вот такой момент. Мать на чипсете C612, про который на сайте интел написано что PCIe rev2 и Max PCIe lanes - 8. Ну и в целом это довольно старый чипсет, родом еще из 14 года.

https://ark.intel.com/products/81759/Intel-C612-Chipset

 

А в описании карты совсем другая инфа, как это так?

Изменено пользователем Silenceplt
Ссылка на комментарий
Поделиться на другие сайты

53 минуты назад, Silenceplt сказал:

@DevCat 

Спасибо!

А ты этой мамой пользовался? У неё есть IPMI?

И вот такой момент. Мать на чипсете C612, про который на сайте интел написано что PCIe rev2 и Max PCIe lanes - 8. Ну и в целом это довольно старый чипсет, родом еще из 14 года.

https://ark.intel.com/products/81759/Intel-C612-Chipset

 

А в описании карты совсем другая инфа, как это так?

1) Нет, не пользовался. Довольно часто натыкаюсь на объявления по продаже систем для рендеринга на ней (а причина может быть кроется в пункте 3). Так понимаю любят ее использовать те, кто рендерингом занимаются.

2) IPMI у нее есть.

3) Похоже ASUS нас обманывает про PCIev3 (Хотя  у них есть похожая мамка на новом чипсете: https://www.citilink.ru/catalog/computers_and_notebooks/servers_and_net_equipments/server_mbs/1050693/?gclid=EAIaIQobChMIqMHI-6Gh3gIVx0QYCh2tPwTNEAAYASAAEgI3X_D_BwE ).

И  гугление: z10pe-d16 ws 6 gpu выдает целую портянку результатов, где люди страдают с этой мамкой. В частности из-за того, что все слоты PCIe работают только с 2мя CPU. С одним только половина слотов...  

 

P.S. Если не изменяет память, то на форуме целая ветка была от человека, который на этой мамке ферму собрал и об подводных камнях (вроде как кулера сначала не встали, потом карта не цеплялась). Но сходу найти не могу ссылку на тему. Если найду, то добавлю сюда.

Изменено пользователем DevCat
Ссылка на комментарий
Поделиться на другие сайты

@DevCat А допустим вот Supermicro X11SPL-F

https://www.supermicro.com/products/motherboard/Xeon/C620/X11SPL-F.cfm

 

Вроде все есть, и IPMI и 7 PCIe слотов и относительно новый чипсет.

И стоит не так много вроде, и процы серверные влезут.

Ей никто не пользовался?

Ссылка на комментарий
Поделиться на другие сайты

image.thumb.png.a0e9b9beecad5a6ed266bbe53a655786.png

Может это не для этой темы, но поругайте сборку.

Ну в плане совместимости - стоит ожидать где-то проблем?

Ссылка на комментарий
Поделиться на другие сайты

@Silenceplt если будете заказывать, дробите посылки на разные адреса, макс 2-3 вк и 1000 евро

Ссылка на комментарий
Поделиться на другие сайты

@TheIllusiveMan Ну про 1000 евро я в курсе, а почему 2-3 вк?

Ну и как оно вообще, нормально по кофигу, мать хорошая? сдюжит 6 штук без проблем?

Ось будет ubuntu 18

Ссылка на комментарий
Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти
  • Последние посетители   0 пользователей онлайн

    • Ни одного зарегистрированного пользователя не просматривает данную страницу
  • Similar Topics

    • Мать MSI MPG Z490 Gaming Plus (MS-7C75

      Здравствуйте форумчане.  Подскажите, пожалуйста, сколько видео карт можно прицепить к  этой материнской плате?  Можно ли на эту материнскую плату  поставить процессор  AMD Ryzen 9 3950X ? P.S. Эта мать уже есть, не хочется заморачиваться с продажей и покупкой новой пока нет полного рига.  Заранее всем спасибо за ответы.

      в Материнские платы

    • [НЕ ПОДТВЕРЖДЕНО]Больна мать, лекарства дорогие, идущий дорогу осилит

      Больна мать, лекарства дорогие, один не осиливаю, от отчаиния все способы ищу что бы справиться финансово , идущий дорогу осилит. Кому сколько не жалко.  Номер кошелька  3MqMntAFFYzgQrpQ3Kj9XaVaw6fUBdzAMh. Заранее спасибо кто отозвался. 

      в Попрошайки

    • Сборка кластера для майнинга из мини-компьютеров

      Добрый день форумчане, на руках имеется 5 штук мини-ПК ASUS Eee BOX PC B202, также один роутер для объединения их по кабелям ethernet, имеют следующие технические характеристики: Процессор Intel Atom N270 со встроенной графикой Intel GMA 950 1 GB оперативной памяти 1xDVI порт 1x Ethernet порт 4xUSB 2.0 порта Хотелось бы для начала узнать перспективы и предположительную эффективность объединения таких аппаратов в кластер для майнинга, а также если возможно, получить 

      в Флейм

    • мать GA-770T-USB3 rev 1.0

      Проблемы PCIEX1, последний снизу, при попытке подключить к нему карту, ферма вешалась намертво, при чём иногда не сразу, а после запуска майнера. Теперь, этот слот отчебучивает следующее,Бывает иногда теряет 4, шлейфовые райзеры менял штук 5-6 проблема время от времени остаетсяТо все ок и 4 карты работаю меся- два, то снова ферма вешается от PCIEX1Блок питания Raidmax Cobra 1000W (RX-1000AE-B)мать GA-770T-USB3 rev 1.0 (биосы новые)GPU Load Temp Fan Clock MemRadeon RX 570 Series 100% 65C 71% 1174

      в Материнские платы

    • Запуск 6 карт под мать gigabyte ga-z270p-d3

      День добрый. На данном форуме я новичок. Так сильно тапками не кидайтесь.   Решил поделится своей проблемой связанной с запуском одновременно работающих 6-ти карт по эту мать. Материнка: gigabyte ga-z270p-d3 Видеокарты: gtx 1080 ti Суть проблемы была такова: Устанавливал и переустанавливал винду. Через программу удаления регистра и без нее. Менял местами райзера. Менял питание. Перепробовал вариантов 100. Постоянно эффект один: 5 видео карт работают а 6-я с ошибкой 12 нив какую. Са

      в Материнские платы

×
×
  • Создать...