Серверная плата X7DCL-3

[Sid__]

Добрый день, товарищи.

 

Подскажите пожалуйста, кто может.

Итак, имеет в наличии материнскую плату SuperMicro X7DCL-3

3 порта всего Pci-e, но это чипсет 5100 интела, и у него аж 30 линий Pci-e.

В связи с чем вопрос.

 

Потянет ли данная карта, ну к примеру 9 карт, через 3 переходника?

 

К такой мысли меня натолкнула тема товарища, который в плату постарше, от той же SuperMicro воткнул аж 12 карт.

 

 

Был бы крайне признателен по любым отзывам по платам SuperMicro, так как есть где их брать практически бесплатно, вместе с процессорами.

 

[iRybin]

Ну так заказать повторители и испытать :)

 

А по мамкам есть интерес, можно в ЛС.

[Sid__]

Ну так заказать повторители и испытать :)

 

А по мамкам есть интерес, можно в ЛС.

Там увы не промышленные масштабы, не завод к сожалению, небольшой проектный институт.

Пока вот есть несколько матерей, и то только одна с 4мя слотами, надо понять, пойдут ли они через переходники.

 

Мне еще и очень интересно, будет ли на них работать корректно выключение удаленно и есть ли оно на всех. Так то тоже прямо скажем интересная тема =)

[Uliss]

@Sid__, @iRybin, флаг в руки!

Забабахаем отдельную тему по применению серверных материнок, это ценный опыт.

[Sid__]

Дак это, опыт то уже давно есть =)

https://forum.bits.media/index.php?/blog/303/entry-589-13-kart-na-odnoi-ferme-lichnyi-opyt/

 

Я только такую карту дешевле чем за 15 штук не нашел, и на этом как бы возникли сомнения =)

И это без процессоров. Хотя они и недорогие.

 

Попробую тогда через недельку/другую взять одну серверную материнку, как раз подойдет посылка с CU с блоками.

Edited 23 May 2017, 16:21 by Sid__

[iRybin]

Забабахаем отдельную тему по применению серверных материнок, это ценный опыт.

 

Я просто на 11 слотов нашёл Супермикру... Цену опустим, но если вдруг на ней сходу заведутся 11 карт - то откроется поле для эксперимента уже с разветвителями. А волей пампа теперь, в случае чего, готов и разработчикам программы-майнера оплатить допил под такое количество карт.

Edited 23 May 2017, 17:07 by iRybin

[Uliss]

@iRybin, так вообще, это эксклюзивная тема по многокарточным серверным матерям.

И инфы по ней - ноль.

 

А учитывая твою нацеленность на U-образные корпуса и модульное исполнение майнера, то самое оно получается.

[ValM]

Кому будет интересно, на supermicro x7dwe win10 нормально запустилось только 4 карты, драйвер на 5-ю не установить.

https://forum.bits.media/index.php?/topic/33927-materinskie-platy-dlia-gpu-ferm-primenenie-obsuzhd/?p=692226

 

Хоть и 5400 чипсет,но все же он старше чем 5100.

Что я не делал, не получилось :(

Через тройник тоже не устанавливалась 5 карта.

Ошибка 43 и хоть тресни. Ни поднятие напряжений в биосе, ни отключение всего, вплоть до usb не решило вопрос. Может конечно линукс решит дело, но я в нем не силен.

Edited 23 May 2017, 17:33 by ValM

[Sid__]

https://forum.bits.media/index.php?/topic/33927-materinskie-platy-dlia-gpu-ferm-primenenie-obsuzhd/?p=692226

 

Что я не делал, не получилось :(

Через тройник тоже не устанавливается.

Во, спасибо за отзыв.

Очень в тему, значит надо рассматривать вариант с чипсетами 602 и 612. Если тут 32 линии pci-e, то 602 и 612 по моему больше 64 может быть.

[ValM]

Во, спасибо за отзыв.

Очень в тему, значит надо рассматривать вариант с чипсетами 602 и 612. Если тут 32 линии pci-e, то 602 и 612 по моему больше 64 может быть.

Думаю, если есть под рукой платы, надо пробовать.

Точно знаю, что X9SRL-F тянет 13 карт, т.к. тут уже есть опыт у человека и он написал обзор.

Edited 23 May 2017, 19:05 by ValM

[Sid__]

Думаю, если есть под рукой платы, надо пробовать.

Точно знаю, что х10sri тянет 12 карт, т.к. тут уже есть опыт у человека и он написал обзор.

Это я читал, на 9й и 10й серии у супер микро стоят как рак 602й и 612 чипсеты, правда не во всех.

Я так понимаю они как раз и могут тянуть макс количество карт.

Да и платы с такими чипсетами имеют макс количество слотов.

 

Жалко что они и стоят блин дороже, потому как б/у еще нет.

[ValM]

Это я читал, на 9й и 10й серии у супер микро стоят как рак 602й и 612 чипсеты, правда не во всех.

Я так понимаю они как раз и могут тянуть макс количество карт.

Да и платы с такими чипсетами имеют макс количество слотов.

 

Жалко что они и стоят блин дороже, потому как б/у еще нет.

Да уж ... 20 за плату еще 20 за память с процом и кулер ... ну его на.

[Enzo]

Мне еще и очень интересно, будет ли на них работать корректно выключение удаленно и есть ли оно на всех.

Для удалённого управления питанием на плате должен быть Managment port, оно же IPMI или KVM. Это обычный порт локальной сети, но присутствует он далеко не на всех платах. В подборе смотрите чтобы было 3 сетевых порта (2 обычных + 1 для управления).

 

На практике с управлением питанием никаких проблем не возникало, но есть нюансы.

1. IPMI интерфейс имеет свойство зависать, тогда удалённая консоль не запускается (чтобы зайти на комп типа как сидишь перед монитором), но подключиться к самому IPMI можно, где можно его "перегрузить", после чего всё работает как положено. Сам комп при этом остаётся в работе без перезагрузки, так-что можно тыкать без проблем :)

2. Если БП уходит в защиту, то нужно полностью обесточивать ферму. С этой задачей IPMI не справляется, надо выключать подачу электричества.

[tankist]

Для серверных маньяков, палю тему - полностью укомплектованный б/у DL380 G6, без дисков. На ибее стОит около 200$, куча ядер, 24гб памяти, вставки для 2.5 дисков. Шесть слотов pci-e, через заводские Т-райзеры, в которые (если сильно выпить) можно умудриться воткнуть 6 кетайских сплиттеров )) С последними борода, с переменным успехом испытываю их на десктопной маме FM2+ ибо сервак стартует около 2-х минут (POST, thermal calibration итд) под дикие завывания вентиляторов. В итоге, накатил на сервак 10-ку лтсб и убрал его на полку до лучших времён.

 

И таки да - у сабжа имеется ILO

Edited 23 May 2017, 19:20 by tankist

[iRybin]

Для удалённого управления питанием на плате должен быть Managment port, оно же IPMI или KVM. Это обычный порт локальной сети, но присутствует он далеко не на всех платах. В подборе смотрите чтобы было 3 сетевых порта (2 обычных + 1 для управления).

 

как тут выяснилось - оно работает и через главную (обычную) сетевуху сервера... сам был неожиданно удивлён, когда воткнул хвост в lan0 - а по DHCP прилетело 2 IP-адреса - и на ilo, и на esxi... Сервак на 1366 сокетных Ксеонах, в ДЦ всегда был подключён 2 хвостами (ilo + сам сервер)...

 

 

1. IPMI интерфейс имеет свойство зависать, тогда удалённая консоль не запускается (чтобы зайти на комп типа как сидишь перед монитором), но подключиться к самому IPMI можно, где можно его "перегрузить", после чего всё работает как положено. Сам комп при этом остаётся в работе без перезагрузки, так-что можно тыкать без проблем :)

 

Там всё хуже... в ранних матерях нету защиты от ломления на IPMI из интернета - и в какой-то момент такое ломление его вешает наглухо. Обычно можно его резетнуть ipmicfg из-под линуха/ESXi (когда и если сам сервак "жив". Но иногда так, что только полный сброс по питанию всего сервера (дисконнект шнура) - вот это реальная проблема для серверов в ДЦ. На серверах, которые стояли с изолированным managment vlan в своей серверной такой байды не наблюдалось и IPMI наглухо не висли.

 

На свежем сервере 2011v3 платформы IPMI мегакрасивый и с кучей фишичек, там уже есть белые IP и проблемы нету

Edited 23 May 2017, 20:10 by iRybin

[Enzo]

как тут выяснилось - оно работает и через главную (обычную) сетевуху сервера...

Да, но только если есть поддержка iLO вообще. Там идёт резервирование, тоже сталкивался с этим.

 

Там всё хуже... в ранних матерях нету защиты от ломления на IPMI из интернета - и в какой-то момент такое ломление его вешает наглухо. 

Так и есть. Пока-что у меня не доходило до состояния полного обесточивания для отлипания IPMI.

 

В моей мамке на s2011v1 кстати тоже есть возможность настроить белый IP для IPMI. Но это же потенциальная дырка :)

Edited 23 May 2017, 20:24 by Enzo

[iRybin]

 

 

Так и есть. Пока-что у меня не доходило до состояния полного обесточивания для отлипания IPMI.

 

увы... 2 сервака, 2 трупа IPMI очень быстро... в ДЦ выделенной сетки под них, увы, нету, а городить отдельный фаер-роутер не вариант...

 

 

 

В моей мамке на s2011v1 кстати тоже есть возможность настроить белый IP для IPMI. Но это же потенциальная дырка :)

 

Ну - это лучше, чем ничего - тем более, если дом на статике - не вижу особых проблем.

[Oz]

На самом деле хотелось бы эту тему закрыть раз и навсегда, потому что PCI-E - это реализация HARDWARE и к SOFTWARE не имеет никакого отношения. (и потому что единственное ограничение, это то что какой-то идиот сказал, что больше не подключается) Это означает, что количество подключаемых устройств зависит только от разводки линий на материнской плате и общего количества линий. Ограничение - 255 устройств (байт).

 

Каким раком они подключаются не имеет никакого значения. Точно так же не имеет никакого значения, серверная материнская плата или нет.

[Sid__]

На самом деле хотелось бы эту тему закрыть раз и навсегда, потому что PCI-E - это реализация HARDWARE и к SOFTWARE не имеет никакого отношения. (и потому что единственное ограничение, это то что какой-то идиот сказал, что больше не подключается) Это означает, что количество подключаемых устройств зависит только от разводки линий на материнской плате и общего количества линий. Ограничение - 255 устройств (байт).

 

Каким раком они подключаются не имеет никакого значения. Точно так же не имеет никакого значения, серверная материнская плата или нет.

Ну так вопрос в этом и стоит, у какой материнской платы реализация линий Pci-E позволит подключить как можно больше карт.

[iRybin]

 

 

это реализация HARDWARE и к SOFTWARE не имеет никакого отношения.

 

Там по ходу проблемы наполовину как раз софтварные - ось/майнер не в состоянии работать с таким количеством устройств + BIOS (который, внезапно, тоже software) не в состоянии это всё на матери обвязать в единое целое. На юзерских матерях с большой долей вероятности эту часть микропрограммы осознанно отрезали нафиг по причине ненужности, тогда как на серверной матери с родными 11 слотами вполне могли реализовать.

 

Я вот только с ужасом думаю, что если, скажем, 30к-50к на мать и обвес я найду :) (полбитка, чо) - то вот в случае с картами будет уже тяжелее + разложить этот ад на столе тоже будет весело... И тут вопрос, что брать - 1060 (дешевле, если взлетит - можно и старшие) или сразу топы - в крайнем случае потом соберу 2 обычные фермы...

[Uliss]

На самом деле хотелось бы эту тему закрыть раз и навсегда, потому что PCI-E - это реализация HARDWARE и к SOFTWARE не имеет никакого отношения. (и потому что единственное ограничение, это то что какой-то идиот сказал, что больше не подключается) Это означает, что количество подключаемых устройств зависит только от разводки линий на материнской плате и общего количества линий. Ограничение - 255 устройств (байт).

 

Каким раком они подключаются не имеет никакого значения. Точно так же не имеет никакого значения, серверная материнская плата или нет.

Ситуация отчасти напоминает ситуацию с УСБ девайсами. Все читали, что (теоретически) возможно подключение до 255 устройств - это уже въелось и не вызывает сомнений.

Не вызывало.

До тех пор, пока не пришлось практически подключать реально большое количество УСБ девайсов.

Некоторые помнят Телегу и связанные с ней "особенности" подключения - на материнках АМД реально работало 40-45 УСБ, на Интеле до 50-60.

Та же самая банальная нехватка ресурсов.

Устанавливался дополнительный хардварный хаб, на который системой выделялись ресурсы и получай еще 40 УСБ подключений.

[ValM]

Вспомнил что в свойствах драйвера было написано: ошибка 43 и в свойствах ошибки "данные предоставленные устройством отличаются от данных после проверки POST". За точность фразы не отвечаю, а вот смысл был такой.