Перейти к содержанию
  • запись
    1
  • комментариев
    100
  • просмотра
    42 033

13 карт на одной ферме, личный опыт


Enzo

76 510 просмотров

Всем привет.

 

Наконец-то, сбылась мечта идиота: запустить более 10 карт на одной ферме. Почему именно более 10? Потому-что в Windows не обнаруживается более 10 GPU (так говорят, сам не проверял). И вроде как только линукс может поддерживать более 10 графических ядер. Спортивный интерес, так сказать.

 

А началось всё с того, что у меня в планах временный переезд за границу, при этом все мои фермочки остаются на родине, за ними нужно как-то следить. Для решения данной задачи было решено перевести все фермы на серверный сокет, потому-что в серверных материнских платах есть Managment Port, который позволяет иметь полный доступ к управлению компьютером: можно в биос зайти, можно ресет нажать, можно выключить/включить, переустановить операционную систему и т.п. Таким образом, физическое присутствие возле ферм понадобится только при необходимости заменить какую-то деталь, всё остальное можно делать удалённо и не напрягать лишний раз кума/свата/брата. Т.к. все наслышаны о большом количестве линий PCI-E в серверных системах, потому попутно проснулся и спортивный интерес: воткнуть больше карт. Дайте мне таблеток от жадности, да побольше, побольше! :lol: Кроме того, я люблю вау эффект, готов переплачивать за плюшки и прочие удобства.

 

Начал искать в каталогах оптимальную материнку: максимум PCI-E слотов (не менее 6), сокет 2011/2011-3 (на 1366 искать не стал, устаревшие), наличие менеджмент порта (далеко не на всех платах он есть), наличие M.2 порта было бы плюсом. Процессоры под 2011-3 оказались черезчур дорогими, тогда как для 2011 на рынке полно б/у ксеонов E5-1620 (4 ядра/8 потоков, 3.6Мгц), всего по 40-50$, потому остановился на сокете 2011.

 

Из возможных к заказу подходящих МП мне подошла Supermicro X9SRL-F http://www.supermicro.com/products/motherboard/Xeon/C600/X9SRL-F.cfm

 

Supermicro-X10SRL-F-Overview.jpg

Supermicro-X10SRL-F-Rear-IO.jpg

 

Обошлась она мне в 340$ за новую. У этой платы (или может производителя в целом) оказалась самая жлобская комплектация, которую я когда-либо видел :lol: В коробке с мамкой была заглушка на корпус и 6 SATAII кабелей. Т.е. ни одного SATAIII кабеля, ни одной косички, даже руководства пользователя не было :huh: Стоит также отметить, что в данной плате один из портов является PCH.

 

Фермы планировалось устанавливать в закрытые 4U корпуса, корпус купил здесь на форуме https://forum.bits.media/index.php?/topic/30284-ukrainakiev-gpu-korpusa-i-fermy-dlia-maininga-ethereum-i-zcash/, фото продавца:

 

post-32487-0-23372500-1479888315.jpg

 

Т.к. расчёт был на установку 8 карт в одной ферме, для этого не обойтись без мощного блока питания, потому-что имеющийся корпус не позволял установить в него 2 БП (без колхоза), и я вновь отправился на поиски по каталогам. Серверные БП не рассматриваю, это на уровне религии наверное :P Выбор пал на Super Flower Leadex Platinum 2000W, как самый мощный из доступных с одной линией 12В.

 

PSU_standby1.jpg

Стоит он правда, не мало: 450$. На текущих моих фермах стоит по два SeaSonic Platinum P-1200 (1200Вт), так-что один новый "пупсик" стоит дешевле, чем эти два, а его мощности с головой достаточно на 8 популярных на данный момент RX 480, ещё и на апгрейд карт есть немного запаса.

 

В качестве первой партии видеокарт заказал 8 Sapphire Nitro+ RX 480 8Gb.

 

Отдельно хочу рассказать про историю с процессором, а точнее, с его охлаждением. Купленный б/у процессор был без кулера, потому я заказал самый дешёвый попавшийся на глаза кулер: Supermicro SNK-P0047P.

 

142305_2254_draft_large.jpg

Учитывая нулевую нагрузку на процессор при майнинге, не стал я заказывать активный кулер (с вентилятором), т.к. в каталоге самый дешёвый вариант был в 4 раза дороже этого б/у.

 

Т.к. с 2011 сокетом я дела никогда не имел, для меня стало неожиданностью, что в нём есть два типа крепления процессорного охлаждения: Square ILM и Narrow ILM.

 

intel-ilm.png

И, как оказалось, купленный кулер не подходит на данную МП. Дело было в субботу, что-либо заказать и получить сегодня же не предоставлялось возможным, а я так ждал этих выходных :lol:

 

Ну, что же делать, полез искать другой кулер. Выбрал Scythe Katana 4 SCKTN-4000, как недорогой и небольшой, кулер универсальный, с поддержкой многих сокетов, в том числе и 2011.

scythe-katana-4-scktn4000.html.b.jpg?1477557484

 

Ну что, приехал этот кулер во вторник, и я бегом побежал примерять его к мамке. И что вы думаете? Снова из меня сыпется куча мата, ибо это гавно имело переходник только на квадратное крепление :lol: Ради интереса полез на сайт производителя, там написано "кулер поддерживает сокет 2011", и на этом всё, о типе крепления ни слова. Как оказалось позже, просматривая другие кулеры, почти во всех каталогах и сайтах производителей не указан тип крепления, при этом загуглив конкретную модель, находились отзывы, что кулер поддерживает только квадратное крепление. Мой нос снова свесился, ибо я не мог в каталоге найти нужный кулер, потому-что приходилось гуглить каждую модель в поисках информации о поддержке типа крепления, а на это уходило много драгоценного времени.

 

Позже вспомнив, что с первым пассивным куллером попадался на глаза и другой пассивный, немного крупнее, решил посмотреть его. И о чудо, он имел именно нужное мне крепление :lol: Им оказался Supermicro SNK-P0048PS, который стоил в два раза дороже первого, но в первый раз я зажлобил на него, ибо если нет разницы, зачем платить больше? :D

0218402_2.jpg

 

Не долго думая, собираю всех купленных "лузеров" и еду с ними к продавцам в столицу (70км), на возврат. Продавец нужного кулера уверил, что без сильной продувки проц будет перегреваться, потому из 3х корпусных вентиляторов средний я развернул в сторону процессора.

 

Собрал я всё это дело в кучу. Память 2х 4Гб, винт SSD 120Gb. Почему 120Гб? Чтобы поселить на нём несколько операционных систем, и работать в той, где выгоднее на текущий момент. Установил Ubuntu 16.04, последний на тот момент драйвер amdgpu-pro 16.50 и optiminer для майнинга Zcash.

 

3 карты завелись без проблем, при подключении 4й получил звуковую алярму и переход в биос, где был устрашающий варнинг:

PCI OUT OF RESOURCES CONDITION:

 

Error: Insufficient PCI Resources Detected!!!

 

System is running with Insufficient PCI Resources!

In order to display this message some

PCI devices were set to disabled state!

It is strongly recommended to Power Off the system and remove some PCI/PCI Express cards from the system!

To continue booting, proceed to Menu Option and select Boot Device or .

 

WARNING: If you choose to continue booting some Operating

Systems might not be able to complete boot correctly!

 

Т.е. плата нам сообщает, что PCI ресурсы заканчиваются, выдерните что-нибудь лишнее. Но там же был и такая инфа:

Please change your BIOS settings:

BIOS > Advanced > PCIe/PCI/PnP Configuration > Above 4G Decoding and set it to Enabled.

 

Не долго думая, лезу туда и правлю указанный конфиг. Попутно отключаю всё лишнее/ненужное. Теперь всё заводится, система грузится, майнинг на 4х картах работает.

 

При работе в биосе меня ждал серьёзный нежданчик: проц очень сильно грелся, иногда доходило до звуковых алертов перегрева, после чего приходилось быстро сохранять биос и тушить систему на некоторое время. Вентилятор не справлялся, как позже оказалось, из-за моей рукожопости: я его воткнул (голые провода) в 5В, вместо 12В. При этом, при майнинге на таких оборотах вентилятора радиатор процессора со временем становился и вовсе холодным, т.е. активный кулер оказался нужным только для биоса :unsure:

 

При добавлении 5й карты хешрейт у всех карт изменился до 50-60 сол/с, тогда как обычно у карт RX 480 хешрейт на уровне 200-220 сол/с. Полез в биос, там есть возможность указать режим совместимости каждого PCI-E слота: Gen1/Gen2/Gen3. По умолчанию у 6 слотов установлено Gen3, седьмым слотом управлять нельзя, т.к. это PCH слот, но видеокарта в нём успешно работает. В общем, при Gen1 хешрейт не изменился, при Gen2 всё заработало как планировалось.

 

Добавляю карты, заполняю все 7 слотов, всё работает. Ставлю плату расширения 1-3 PCI-E в слот х16, переставляю в него некоторые карты. Включаю - всё работает. Добавляю последнюю, 8ю карту, полёт нормальный. Всё, можно доставать шампанское! А нет, как же спортивный интерес? :lol:

 

Разбираю соседнюю ферму с R9 390, добавляю по одной. Добавляю вторую плату расширения во второй х16 слот - не работает. При чём не работает именно расширитель в дальнем от проца слоте. Переставляю из х16 в ближайший к процессору х1, оба работают. Добавляю ещё карт по одной. С какого-то момента карта во втором слоте стала выдавать всего 50-60 сол/с, потому переставил её оттуда в расширитель.

 

Пора добавлять третий расширитель, думаю куда его воткнуть, учитывая что в двух х16 слотах работает только один из них (отдельно один расширитель работает в обоих слотах). Не долго думая, решаю подключить третий каскадно, т.е. воткнуть его в расширитель. Тоже никаких особенностей, всё завелось и работало как нужно. Таким образом, нарастил количество карт до 12 штук: 8 RX 480 и 4 R9 390.

 

f966481009b8f9950c120339441a05a7_a5cf6976ce7722a81ca010f132295126.png

 

В майнере "правильный" хешрейт:

 

baf0def373d03625ca16ce5c524fcf9c_cb923328d5b6e108219e05dc05096049.png

 

Потом ради интереса воткнул коммутатор в PCH слот, там тоже всё работало как положено.

Всё это собиралось "на коленке", в ограниченном пространстве, особенно учитывая изначальное расположение фермы в 4U корпусе. Получилось вот такое чудо-юдо :lol:

 

cc8ca224dd86317f4fc81ac23fb89e36.jpg

 

У меня были ещё карты, ещё расширители, но как подумал куда всё это дело пристроить в таком хаосе, решил, что этого пока достаточно для первого эксперимента. Разгоны не проводил, все карты в стоке.

 

Ещё перед сборкой этого зоопарка я мечтал, что смогу запустить на такой системе более 8 карт, и для размещения такой фермы заказал себе корпус Thermaltake Core X9 http://www.overclockers.ua/case/thermaltake-core-x9/all/

11-thermaltake-core-x9.jpg

 

Скажу честно, когда это чудо приехало, я был шокирован его размерами, ожидал увидеть гробик меньше раза в два. Но теперь я точно уверен, что в него и 20 карт влезет :lol: Так-что, наверняка следующая моя запись в блоге будет "Установка фермы с 12+ карт в корпус Thermaltake Core X9" :rolleyes: ну и, раз влезет 20 карт, значит пора собирать двухпроцессорное решение :D Скажу сразу, попадались нужные материнские платы в примерно той же ценовой категории, в пределах 350$, а второй процессор, как я уже писал, можно купить за 40-50$ + 40$ на комплект памяти для него, итого получаем не сильное удорожание для ещё ХХ карт.

 

PS. Эксперимент окончен, ферма из 12 карт разобрана, сейчас на ней трудятся купленные 8 карт RX 480, так-что что-либо проверить по желанию комментаторов не смогу.

 

Upd. 10.01.2017

Пришла вторая партия карт, свободных слотов с переходниками хватило только на 15 карт. При подключенных 15 картах майнинг Zcash работал только на 13, как оптимайнер, так и клеймор. Причина не ясна, т.к. в списке устройств отображаются все карты. Другие майнеры и монеты не проверял. Собственно, сейчас на ферме трудятся 13 карт RX 480 8G.

 

[Total] 1943.0 I/s 3627.8 S/s (5s) 1948.7 I/s 3661.1 S/s (1m) 1949.7 I/s 3663.0 S/s (1h)

 

Upd. 07.02.2017

На данный момент в риге работает 10 карт, продолжать эксперименты пока-что нет возможности. Думаю, через месяц-два вернусь к этим вопросам.

100 Комментариев


Рекомендуемые комментарии



Даже не знаю что посоветовать, у меня с драйверами вообще никаких танцев не было, просто поставил и они заработали, разве-что пока не перегрузил систему, то действительно были какие-то вилы :D

Так и было)) SOLVED, как говорится)) а не пробовали вы использовать Claymore на этой платформе?

Ссылка на комментарий

а не пробовали вы использовать Claymore на этой платформе?

Не пробовал, он на тот момент был 2 дня как выпущенный под линукс.

Ссылка на комментарий

Круто, очень жаль что такой обвес для 12 карт не считая корпус, выходит дороже чем 2 обвеса стандартных для 6 карт. Ну максимум столько же выйдет, если поискать поставщиков. Оправдывает только то что нужен "продвинутый" удаленный доступ к фермам.

Ссылка на комментарий

Как говорится, красота требует жертв :) Думаю, серверный БП позволит сэкономить 500-600 USD.

 

Сегодня попробовал добавить больше карт. 15 карт система распознала, а вот Zcash майнеры (как оптимайнер, так и клеймор) не видят более 13 карт. Оставил пока 13 карт в работе, бубен позже принесу.

Ссылка на комментарий

15 карт система распознала, а вот Zcash майнеры (как оптимайнер, так и клеймор) не видят более 13 карт.

А с разработчиками не пробовал связываться с вопросом об этом ограничении?

Ссылка на комментарий

А с разработчиками не пробовал связываться с вопросом об этом ограничении?

У меня есть уверенность, что проблема всё же аппаратная, потому-что при подключении свыше 12 карт я получаю сообщение о нехватке PCI ресурсов, как при первом подключении 4й карты. В биосе на эту тему уже вроде как нечего тюнить. Есть ещё мысли с джамперами поиграться, их на плате много :) А с другой стороны, уже присматриваю двухпроцессорную мать :D

Ссылка на комментарий

А можно фотки сборки в студию?

Имеется ввиду на 13 карт? Всё так же всё открыто и разбросано, не окончательный вариант. 

Ссылка на комментарий

Enzo, интересно, какой блок питания используете для 13 карт ?

Два вышеуказанных БП, потребление 1.2 + 1.4 КВт.

Ссылка на комментарий

В FAQ такие эксперименты нужно добавлять! Все как по учебнику. Ждем продолжения с двумя процессорами 

Ссылка на комментарий

Отличный эксперимент, спасибо! У самого 3 серверных материнки, недавно начал осваивать майнинг - перспективы радуют :)

 

Было бы здорово узнать как на Винде всё это будет работать. Есть возможность накатить десятку?

Ссылка на комментарий

Enzo, а можно Вас попросить дать полную конфигурацию рига? Первую, и вторую которую прикидываете собирать на 2х процессорной матери?

И чем обусловлено желание именно 2х процессоров? Ожидаете что запустится 13+ карт?

Ссылка на комментарий

Оперативной памяти там сколько стоит? Иногда карты не подхватывались из за нехватки оперативной памяти.

Ссылка на комментарий

 

 

При подключенных 15 картах майнинг Zcash работал только на 13, как оптимайнер, так и клеймор. Причина не ясна, т.к. в списке устройств отображаются все карты.

 

А если запустить 2 майнера и разделить между ними карты?

Ссылка на комментарий

А если запустить 2 майнера и разделить между ними карты?

Автор - что ответишь? интересное наблюдение

Ссылка на комментарий

Было бы здорово узнать как на Винде всё это будет работать. Есть возможность накатить десятку?

Накатить десятку нет ни желания, ни возможности :) Есть слухи, что драйвера в винде не поддерживают более 10 карт, проверять как-то не хочется.

 

Интересно в бенчах можно нагрузить 13 карт? 3dmark например для спортивного интереса )

Так они же каждая сама по себе будут, в любом случае.

 

Enzo, а можно Вас попросить дать полную конфигурацию рига? Первую, и вторую которую прикидываете собирать на 2х процессорной матери?

И чем обусловлено желание именно 2х процессоров? Ожидаете что запустится 13+ карт?

А чем не хватает конфига в статье? Там указано всё, кроме памяти, установлено было 2 по 4Гб. На 2х процессорной будет всё то же самое, за исключением материнки. С ней ещё не определился, сейчас нет возможности этим заниматься.

 

Поддержка PCIe устройств осуществляется процессором, допустимый лимит этих устройств также зависит от процессора. Соответственно, чем больше процессоров, тем выше лимит устройств.

Ссылка на комментарий

Оперативной памяти там сколько стоит? Иногда карты не подхватывались из за нехватки оперативной памяти.

Да, тоже встречал такую информацию. Как-то не подумал в тот момент, на риге 8 гиг памяти.

 

А если запустить 2 майнера и разделить между ними карты?

Тоже не пробовал. Дело в том, что оптимайнер в списке устройств показывал только 13 карт, т.е. последние две карты я бы не смог ему подсунуть в параметрах.

Ссылка на комментарий

Ребята, на данный момент в риге работает 10 карт, продолжать эксперименты пока-что нет возможности. Думаю, через месяц-два вернусь к этим вопросам.

Ссылка на комментарий

В любом случае КРУТЯК.

С экономической точки зрения проект конечно вызывает сомнения, но с точки зрения "кайфа" - без сомнений интересно. :)

Мое почтение и уважение, а так же вдохновения на новые эксперементы!

Ссылка на комментарий

Накатить десятку нет ни желания, ни возможности :) Есть слухи, что драйвера в винде не поддерживают более 10 карт, проверять как-то не хочется.

Попробовал сам, получается так, что Винда видит 10 карт без дров, но дрова работают только с 8 картами, дальше синий экран при любом способе установке драйверов. Линукс на этом же конфиге работает с 10 картами без проблем.

Ссылка на комментарий

Попробовал сам, получается так, что Винда видит 10 карт без дров, но дрова работают только с 8 картами, дальше синий экран при любом способе установке драйверов. Линукс на этом же конфиге работает с 10 картами без проблем.

Спасибо, полезная инфа. А на каком железе 10 карт заводили? И было именно 10 или больше? ;)

 

Да, вспомнил про лимит 8 карт. Попадался в просторах инета один кулибин, который 10 карт на винде таки завёл, но он немного "обманул систему": у него было 8 AMD карт и 2 nVidia, хитрец какой :D

Ссылка на комментарий

Всем привет. Нашел вот такой pci-e backplane на 20 разъемов http://www.onestopsystems.com/expansion-backplanes

 

Вот бы ктонибудь опробовал или уже есть такие но молчат. Кстати не нашел инфы куда ее можно присоединить. Щас полно дешевых старых серверов может с ними можно как то связать.

Вобщем как то так.

Ссылка на комментарий

Для публикации сообщений создайте учётную запись или авторизуйтесь

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти
  • Последние посетители   0 пользователей онлайн

    • Ни одного зарегистрированного пользователя не просматривает данную страницу
×
×
  • Создать...