8+ видеокарт на одной ферме

[Lanborg]

Собрал 8-карточную ферму, неожиданно все запустилось на 4ГБ оперативки (день проработало без проблем), обращения к диску редки. Зачем люди ставят 8ГБ?

[CombatRa]

asus prime z270-p + 2 переходника M.2 + два тройника = 12 карт

 

Что ж не так с зелеными. Почему 9 не работает...  :(

Собрал 8-карточную ферму, неожиданно все запустилось на 4ГБ оперативки (день проработало без проблем), обращения к диску редки. Зачем люди ставят 8ГБ?

Брал все новое. Разница 4 и 8 в цене не большая + это задел на будущее.

И апгреид возможен и продать будет проще через пару лет.

[feNDer2k5]

Было 10 карт, теперь 12 и видимо, не предел.

 

Да, на этой матери заявлено 24 линии pcie, но вот вопрос в процессоре. Если верить этому , то  Max # of PCI Express Lanes 16 и это верно для большинства ходовых десктопных процов. Хотя и 16 то же хорошо

[soulmnn]

Не хочу никого расстраивать, но кажись (пока не точно) asus prime z270-p даст фору серверным материнкам.

 

asus prime z270-p + 2 переходника M.2 + два тройника = 12 карт

 

пруф:

 

 

Система ubuntu server 16.04.2 драйвер amd gpu pro 17.10 процесор G4400 клеймор грузит одно ядро на 100% пока стартует, во время роботы загрузка минимальна 2%-5%, оперативки 4Гб - заюзано ~ 600 мб, свап есть но не используется.

 

Все это подпитано одним HP HSTNS-PR16 2450W, ориентировочно из стены ест 1800 Ватт, выхожу из того что замерял эту же систему с 8 картами - ела 1200 Ватт, заберу свой ваттметер - будет точная цифра.

 

Подключены в перемешку гигабайты и сапфиры, есть как 480 так и 580.

 

На выходных планирую потягаться с enzo, есть подозрение что мамка потянет больше.

А какая стоимость этих 4 переходников?

[r9380]

А какая стоимость этих 4 переходников?

тройники по 25 баксов, м2 по 3, итого 56 баксов

[ololo]

Я тоже чуть было не купил пару раз серверные платы с кучей pci-e портов (под 1366 бывают кстати и куда более дешёвые варианты, вроде такой, например). Но в итоге imho такие платы имеет смысл брать только если нужно много ядер cpu и/или много памяти (= помимо gpu майнинга система делает что-то ещё), или ну очень хочется ipmi. А чисто для майнинга они того не стоят — в основном потому что потребление энергии у них конское, и resale value ни о чём. Такая плата даже с парой самых экономичных cpu и парой планок 1.35V в простое легко съедает 150+ Вт. И даже самая дешёвая из них (вроде dl370 под 1366), хоть и стоит относительно недорого сама по себе, но требует пары cpu (которые тоже относительно недорогие, но их нужно 2), и пары кулеров (не дешёвых, кстати, под 1366/2011 — и их тоже 2 надо). Когда в сумме посчитаешь "плата + 2 cpu + 2 кулера + доставка" (и это всё б/у и без гарантий), то даже 1366 вариант по цене обходится дороже, чем новые z270 + celeron с копеечным кулером + 4gb ddr4 из местных магазинов. А уж за цену двухсокетной 2011 можно вообще 2 рига на z270 собрать, и потреблять эти 2 рига сами по себе будут меньше, чем одна старая двухсокетная система, а карт в них можно запихать больше, и продать/пристроить такие платы в случае чего будет легче. Но почитать что получится у @iRybin всё равно будет интересно. :)

[iRybin]

 

 

под 1366 бывают кстати и куда более дешёвые варианты, вроде такой, например

 

вот это реально неплохая альтернатива, но бегала инфа, что тупят современные видяхи с этим старым сокетом - там ревизя pci-e древняя

 

 

 

Такая плата даже с парой самых экономичных cpu и парой планок 1.35V в простое легко съедает 150+ Вт.

 

не факт... сервак с 2 процами, контроллером и 4 хардами на старте жрёт меньше ампера... я с ДЦ на днях забрал самый мелкий сервак на 1366 сокете, камень L с китая, 4 харда и 1 SSD - вот померяю, скока жрёт

 

 

 

Но почитать что получится у iRybin всё равно будет интересно.

 

обязательно отпишусь. Железо едет.

 

Тут скорее проблема другая - где и каких карт брать? - ибо нужен их реально мешоГ...

[Enzo]

У меня с одним ксеноном 60 ватт всего кушает :)

 

Тут скорее проблема другая - где и каких карт брать? - ибо нужен их реально мешоГ...

Вот собрался продолжать эксперименты и тоже не нахожу ответа на этот вопрос))) Раскупили всё как горячие пирожки  :lol:

asus prime z270-p + 2 переходника M.2 + два тройника = 12 карт
 

На выходных планирую потягаться с enzo, есть подозрение что мамка потянет больше.

Отличный результат! Даёшь баттл  :D

[ololo]

 

 

У меня с одним ксеноном 60 ватт всего кушает

У вас односокетная плата видимо (речь о системе по ссылке в подписи?). Двухосокетные платы куда более прожорливые (на моей практике обычно в 2 раза, а то и больше).

Карт кстати полно за рубежом, по крайней мере nvidia по нормальным ценам есть и в США, и в Европе. А вот у нас да, видимо эл. энергия дешёвая потому и в России, и в Украине, майнеры всё раскупили.

 

P.S. Серверные процессоры у интел называются Зион, а не Ксеон/Ксенон. :D

[Enzo]

Карт кстати полно за рубежом, по крайней мере nvidia по нормальным ценам есть и в США, и в Европе. 

nvidia нам не друг в экспериментах :)

 

P.S. Серверные процессоры у интел называются Зион, а не Ксеон/Ксенон.  :D

У меня стоит ксенон с последним бивисом  :P

[alex1986]

Все бы хорошо, но даунвольт на Linux работает только на референсоподобных картах с VRM IR 3567B. А таких увы не так много. Поэтому толку от такого количества карт нету.

Наоборот слажу на винду с Linux чтобы потребление гасить.

 

[fojman]

 

 

asus prime z270-p + 2 переходника M.2 + два тройника = 12 карт

А как Вы карти розганяете по Linux'ом? или это сток?

[r9380]

Даунвольт, даунклок, разгон памяти, страпы, все через биос. Да офсетов не хватает, но и без них не сказать что критично. Я сейчас активно занимаюсь подбором максимально эффективного конфига биоса. Последняя стабильная версия давала 28-29 (редко 30) мегахеш, и 140-150 Ватт с розетки. Все карты были 480 8гб. Сейчас уже приехало прилично 8гб 580, я правда ещё не мерял сколько из розетки, но по ядру я начинал с 105 -115 Ватт, сейчас вроде как добился от них стабильности при ~ 95 Ватт и 28-29 мегахешей. Но поиски оптимального конфига продолжаются.

Изменено 26 мая 2017, 15:20 пользователем r9380

[r9380]

 

Все бы хорошо, но даунвольт на Linux работает только на референсоподобных картах с VRM IR 3567B. А таких увы не так много. Поэтому толку от такого количества карт нету.

Наоборот слажу на винду с Linux чтобы потребление гасить.

У меня 8 карт rx480 8гб (производители солянка из сапфиров и гигабайтов) на asus prime z270-p (с двумя m2 переходниками) в соло ефире на 7.4 клейморе с такими же показателями по хешам как на скрине, из розетки ело 1200 Ватт. Не думаю что под виндой можно сильно сэкономить по ваттам.

Изменено 26 мая 2017, 15:19 пользователем r9380

[iRybin]

Все бы хорошо, но даунвольт на Linux работает только на референсоподобных картах с VRM IR 3567B. А таких увы не так много. Поэтому толку от такого количества карт нету. Наоборот слажу на винду с Linux чтобы потребление гасить.

 

я буду зелёных ставить, с ними вроде всё терпимо там. nvidia-smi -pl работает, а разгоны при 11+ картах - от лукавого уже... дороже по времени для каждой карты оптималку искать...

Изменено 26 мая 2017, 15:13 пользователем iRybin

[Polozov]

Хочу выразить огромную благодарность всем кто старался помочь. 

 

завелось 2 рига на асус з 270р по 8шт асус 470*4гб.

п.с. перечитал намного больше чем 2 страницы назад%))

[UserRu]

Вопрос номер 2:  у меня стоит умная розетка от Xiaomi, в ней есть функция мониторинга энергопотребления, так вот 8 штук rx470 жрут   1850ват (это при условии что у меня серверный блок питания на 1800ват) !!! в АБ стоит cv -96 pl -10 cc +1150. cm 2100 , выдает +-29,5 мхс дуале. АБ показывает энергопотребление 115ват с карты, 115*8шт= 920ват+система, куда еще 700ват расходуется? Или же розетка умная п**дит? Ваттметром пока возможности проверить нет=(

Резетните розетку,  на корпусе должна быть дырочка,  возьмите скрепку и туда нажмите на 5-10 секунд,  

Изменено 27 мая 2017, 07:45 пользователем UserRu

[CombatRa]

Запустил 9 карт 1060.

Asus Z270-A

2 переходника m2 to PCI

Остальное не раизерах.

Win10

Буду экспериментировать с бОльшим количеством карт, через сплиттеры. Но сегодня сплиттеры не завелись.

 

Напомню - риг запустился, все карты видел, но майнер зависал.

Никто не уточнил - а какой проц?

А проц G3900.

Смотрим спеки - http://ark.intel.com/products/90741/Intel-Celeron-Processor-G3900-2M-Cache-2_80-GHz

Ракамакафо! так там же: Max # of PCI Express Lanes16

 

 

Где то мелькала инфа, что на 1 карту нужно 2 линии - 16/2=8

 

r9380

У вас какой проц?

[r9380]

r9380

У вас какой проц?

G4400

Изменено 27 мая 2017, 13:07 пользователем r9380

[CombatRa]

G4400

Max # of PCI Express Lanes16

 

 

 

 

 

 

Следствие зашло в тупик

[ololo]

 

 

Никто не уточнил - а какой проц? А проц G3900.

Вы вопрос о возможном влиянии процессора задавали на 28-й странице, и я вам там же ответил — очень маловероятно что дело в нём. У всех процессоров под lga 1151 одно и то же кол-во max # of pci-e lanes. Не важно celeron это, i7 или xeon — для всех 16 линий.

Если хотите попробовать 9 карт, проверьте в linux. В том же ubuntu настроить майнинг довольно просто, и ставится система просто.

[CombatRa]

Вы вопрос о возможном влиянии процессора задавали на 28-й странице, и я вам там же ответил — очень маловероятно что дело в нём. У всех процессоров под lga 1151 одно и то же кол-во max # of pci-e lanes. Не важно celeron это, i7 или xeon — для всех 16 линий.

Сорри, видимо я забыл.

Голову ломаю - в чем же дело.

 

Линух скачал. Дрова тоже. В вс. если будет время, займусь обязательно.

 

G4400

А сплиттеры, в каких слотах?

 

Отключали ли вы встроенные контроллеры (аудио, LAN, Serial и т.д.)?

Изменено 27 мая 2017, 17:58 пользователем CombatRa

[Vovan_3]

Господа, на счёт 8-ми карт на одной ферме это как бы конечно круто, но запускал четыре системника с одиночной видеокартой и одну ферму с этими же 4-мя видюхами - в первом случае общий доход был выше более чем на 15%. Не общий хештр. (он в обоих случаях был примерно одинаковый 2х28 + 2х24), о конечный доход. Проверял несколько раз, в первом случае 0,1 Эфира выходило в сутки, во втором 0,1 за 27-30 часов (четыре слабых воркера против одного 104 Mh), майнил на драфте, пока он не упал...

Ну а с 8-ми карт на одной ферме какие будут потери?

[dashdevl]

Господа, на счёт 8-ми карт на одной ферме это как бы конечно круто, но запускал четыре системника с одиночной видеокартой и одну ферму с этими же 4-мя видюхами - в первом случае общий доход был выше более чем на 15%. Не общий хештр. (он в обоих случаях был примерно одинаковый 2х28 + 2х24), о конечный доход. Проверял несколько раз, в первом случае 0,1 Эфира выходило в сутки, во втором 0,1 за 27-30 часов (четыре слабых воркера против одного 104 Mh), майнил на драфте, пока он не упал...

Ну а с 8-ми карт на одной ферме какие будут потери?

Ну как так то? Ты сам понял, что сказал? Как при общем одинаковом хэше может быть разный доход? Может сложность сети выросла? Может курс упал? Ты же не биток майнишь

[Vovan_3]

del

Изменено 21 июн 2017, 07:30 пользователем Vovan_3