Поиск

Всем привет. Наконец-то, сбылась мечта идиота: запустить более 10 карт на одной ферме. Почему именно более 10? Потому-что в Windows не обнаруживается более 10 GPU (так говорят, сам не проверял). И вроде как только линукс может поддерживать более 10 графических ядер. Спортивный интерес, так сказать. А началось всё с того, что у меня в планах временный переезд за границу, при этом все мои фермочки остаются на родине, за ними нужно как-то следить. Для решения данной задачи было решено перевести все фермы на серверный сокет, потому-что в серверных материнских платах есть Managment Port, который позволяет иметь полный доступ к управлению компьютером: можно в биос зайти, можно ресет нажать, можно выключить/включить, переустановить операционную систему и т.п. Таким образом, физическое присутствие возле ферм понадобится только при необходимости заменить какую-то деталь, всё остальное можно делать удалённо и не напрягать лишний раз кума/свата/брата. Т.к. все наслышаны о большом количестве линий PCI-E в серверных системах, потому попутно проснулся и спортивный интерес: воткнуть больше карт. Дайте мне таблеток от жадности, да побольше, побольше! :lol: Кроме того, я люблю вау эффект, готов переплачивать за плюшки и прочие удобства. Начал искать в каталогах оптимальную материнку: максимум PCI-E слотов (не менее 6), сокет 2011/2011-3 (на 1366 искать не стал, устаревшие), наличие менеджмент порта (далеко не на всех платах он есть), наличие M.2 порта было бы плюсом. Процессоры под 2011-3 оказались черезчур дорогими, тогда как для 2011 на рынке полно б/у ксеонов E5-1620 (4 ядра/8 потоков, 3.6Мгц), всего по 40-50$, потому остановился на сокете 2011. Из возможных к заказу подходящих МП мне подошла Supermicro X9SRL-F http://www.supermicro.com/products/motherboard/Xeon/C600/X9SRL-F.cfm Обошлась она мне в 340$ за новую. У этой платы (или может производителя в целом) оказалась самая жлобская комплектация, которую я когда-либо видел :lol: В коробке с мамкой была заглушка на корпус и 6 SATAII кабелей. Т.е. ни одного SATAIII кабеля, ни одной косички, даже руководства пользователя не было :huh: Стоит также отметить, что в данной плате один из портов является PCH. Фермы планировалось устанавливать в закрытые 4U корпуса, корпус купил здесь на форуме https://forum.bits.media/index.php?/topic/30284-ukrainakiev-gpu-korpusa-i-fermy-dlia-maininga-ethereum-i-zcash/, фото продавца: Т.к. расчёт был на установку 8 карт в одной ферме, для этого не обойтись без мощного блока питания, потому-что имеющийся корпус не позволял установить в него 2 БП (без колхоза), и я вновь отправился на поиски по каталогам. Серверные БП не рассматриваю, это на уровне религии наверное :P Выбор пал на Super Flower Leadex Platinum 2000W, как самый мощный из доступных с одной линией 12В. Стоит он правда, не мало: 450$. На текущих моих фермах стоит по два SeaSonic Platinum P-1200 (1200Вт), так-что один новый "пупсик" стоит дешевле, чем эти два, а его мощности с головой достаточно на 8 популярных на данный момент RX 480, ещё и на апгрейд карт есть немного запаса. В качестве первой партии видеокарт заказал 8 Sapphire Nitro+ RX 480 8Gb. Отдельно хочу рассказать про историю с процессором, а точнее, с его охлаждением. Купленный б/у процессор был без кулера, потому я заказал самый дешёвый попавшийся на глаза кулер: Supermicro SNK-P0047P. Учитывая нулевую нагрузку на процессор при майнинге, не стал я заказывать активный кулер (с вентилятором), т.к. в каталоге самый дешёвый вариант был в 4 раза дороже этого б/у. Т.к. с 2011 сокетом я дела никогда не имел, для меня стало неожиданностью, что в нём есть два типа крепления процессорного охлаждения: Square ILM и Narrow ILM. И, как оказалось, купленный кулер не подходит на данную МП. Дело было в субботу, что-либо заказать и получить сегодня же не предоставлялось возможным, а я так ждал этих выходных :lol: Ну, что же делать, полез искать другой кулер. Выбрал Scythe Katana 4 SCKTN-4000, как недорогой и небольшой, кулер универсальный, с поддержкой многих сокетов, в том числе и 2011. Ну что, приехал этот кулер во вторник, и я бегом побежал примерять его к мамке. И что вы думаете? Снова из меня сыпется куча мата, ибо это гавно имело переходник только на квадратное крепление :lol: Ради интереса полез на сайт производителя, там написано "кулер поддерживает сокет 2011", и на этом всё, о типе крепления ни слова. Как оказалось позже, просматривая другие кулеры, почти во всех каталогах и сайтах производителей не указан тип крепления, при этом загуглив конкретную модель, находились отзывы, что кулер поддерживает только квадратное крепление. Мой нос снова свесился, ибо я не мог в каталоге найти нужный кулер, потому-что приходилось гуглить каждую модель в поисках информации о поддержке типа крепления, а на это уходило много драгоценного времени. Позже вспомнив, что с первым пассивным куллером попадался на глаза и другой пассивный, немного крупнее, решил посмотреть его. И о чудо, он имел именно нужное мне крепление :lol: Им оказался Supermicro SNK-P0048PS, который стоил в два раза дороже первого, но в первый раз я зажлобил на него, ибо если нет разницы, зачем платить больше? :D Не долго думая, собираю всех купленных "лузеров" и еду с ними к продавцам в столицу (70км), на возврат. Продавец нужного кулера уверил, что без сильной продувки проц будет перегреваться, потому из 3х корпусных вентиляторов средний я развернул в сторону процессора. Собрал я всё это дело в кучу. Память 2х 4Гб, винт SSD 120Gb. Почему 120Гб? Чтобы поселить на нём несколько операционных систем, и работать в той, где выгоднее на текущий момент. Установил Ubuntu 16.04, последний на тот момент драйвер amdgpu-pro 16.50 и optiminer для майнинга Zcash. 3 карты завелись без проблем, при подключении 4й получил звуковую алярму и переход в биос, где был устрашающий варнинг: Т.е. плата нам сообщает, что PCI ресурсы заканчиваются, выдерните что-нибудь лишнее. Но там же был и такая инфа: Не долго думая, лезу туда и правлю указанный конфиг. Попутно отключаю всё лишнее/ненужное. Теперь всё заводится, система грузится, майнинг на 4х картах работает. При работе в биосе меня ждал серьёзный нежданчик: проц очень сильно грелся, иногда доходило до звуковых алертов перегрева, после чего приходилось быстро сохранять биос и тушить систему на некоторое время. Вентилятор не справлялся, как позже оказалось, из-за моей рукожопости: я его воткнул (голые провода) в 5В, вместо 12В. При этом, при майнинге на таких оборотах вентилятора радиатор процессора со временем становился и вовсе холодным, т.е. активный кулер оказался нужным только для биоса :unsure: При добавлении 5й карты хешрейт у всех карт изменился до 50-60 сол/с, тогда как обычно у карт RX 480 хешрейт на уровне 200-220 сол/с. Полез в биос, там есть возможность указать режим совместимости каждого PCI-E слота: Gen1/Gen2/Gen3. По умолчанию у 6 слотов установлено Gen3, седьмым слотом управлять нельзя, т.к. это PCH слот, но видеокарта в нём успешно работает. В общем, при Gen1 хешрейт не изменился, при Gen2 всё заработало как планировалось. Добавляю карты, заполняю все 7 слотов, всё работает. Ставлю плату расширения 1-3 PCI-E в слот х16, переставляю в него некоторые карты. Включаю - всё работает. Добавляю последнюю, 8ю карту, полёт нормальный. Всё, можно доставать шампанское! А нет, как же спортивный интерес? :lol: Разбираю соседнюю ферму с R9 390, добавляю по одной. Добавляю вторую плату расширения во второй х16 слот - не работает. При чём не работает именно расширитель в дальнем от проца слоте. Переставляю из х16 в ближайший к процессору х1, оба работают. Добавляю ещё карт по одной. С какого-то момента карта во втором слоте стала выдавать всего 50-60 сол/с, потому переставил её оттуда в расширитель. Пора добавлять третий расширитель, думаю куда его воткнуть, учитывая что в двух х16 слотах работает только один из них (отдельно один расширитель работает в обоих слотах). Не долго думая, решаю подключить третий каскадно, т.е. воткнуть его в расширитель. Тоже никаких особенностей, всё завелось и работало как нужно. Таким образом, нарастил количество карт до 12 штук: 8 RX 480 и 4 R9 390. В майнере "правильный" хешрейт: Потом ради интереса воткнул коммутатор в PCH слот, там тоже всё работало как положено. Всё это собиралось "на коленке", в ограниченном пространстве, особенно учитывая изначальное расположение фермы в 4U корпусе. Получилось вот такое чудо-юдо :lol: У меня были ещё карты, ещё расширители, но как подумал куда всё это дело пристроить в таком хаосе, решил, что этого пока достаточно для первого эксперимента. Разгоны не проводил, все карты в стоке. Ещё перед сборкой этого зоопарка я мечтал, что смогу запустить на такой системе более 8 карт, и для размещения такой фермы заказал себе корпус Thermaltake Core X9 http://www.overclockers.ua/case/thermaltake-core-x9/all/ Скажу честно, когда это чудо приехало, я был шокирован его размерами, ожидал увидеть гробик меньше раза в два. Но теперь я точно уверен, что в него и 20 карт влезет :lol: Так-что, наверняка следующая моя запись в блоге будет "Установка фермы с 12+ карт в корпус Thermaltake Core X9" :rolleyes: ну и, раз влезет 20 карт, значит пора собирать двухпроцессорное решение :D Скажу сразу, попадались нужные материнские платы в примерно той же ценовой категории, в пределах 350$, а второй процессор, как я уже писал, можно купить за 40-50$ + 40$ на комплект памяти для него, итого получаем не сильное удорожание для ещё ХХ карт. PS. Эксперимент окончен, ферма из 12 карт разобрана, сейчас на ней трудятся купленные 8 карт RX 480, так-что что-либо проверить по желанию комментаторов не смогу. Upd. 10.01.2017 Пришла вторая партия карт, свободных слотов с переходниками хватило только на 15 карт. При подключенных 15 картах майнинг Zcash работал только на 13, как оптимайнер, так и клеймор. Причина не ясна, т.к. в списке устройств отображаются все карты. Другие майнеры и монеты не проверял. Собственно, сейчас на ферме трудятся 13 карт RX 480 8G. [Total] 1943.0 I/s 3627.8 S/s (5s) 1948.7 I/s 3661.1 S/s (1m) 1949.7 I/s 3663.0 S/s (1h) Upd. 07.02.2017 На данный момент в риге работает 10 карт, продолжать эксперименты пока-что нет возможности. Думаю, через месяц-два вернусь к этим вопросам.

Продам нижеследующее железо, на что то гарантия есть на что то уже кончилась, вопросы можно постить здесь или писать в личку. Отправка возможна почтой по полной предоплате на карту или ТК. На 280х гарантия ОГО еще 2 года, но все видяшки в двух гарантийках, поэтому кому то достанутся ксероксы. на матери процы и бп гарантия закончиться в конце февраля, так что думаю не актуально. на все есть родные коробки с дисками и прочим. Материнская плата GigaByte Socket AM3+ GA-780T-D3L , AMD 760G, 2*DDR3 1666 Dual, PCI-Ex16, GLAN,RAID,ATX + Процессор AMD Socket AM3 Athlon II X2 250 (3.0GHz) + Модуль памяти Hynix DDR3 4096 Mb 1333MHz - 4500р. возможен дербан комплектов если будут покупатели на все. Блок питания Chieftec GPM-1000C-Box, серия Navitas, Actice PFC, Retail Packing, 1000Вт 5 шт, один новый не использованный, 6000р за бу, 7000р за новый http://www.regard.ru/catalog/tovar151570.htm Блок питания Chieftec APS-850CB 850Вт, FAN 140мм, Active PFC, 24+4+6pin SATA ATX 3 шт, 4500р за шт http://www.regard.ru/catalog/tovar43202.htm Блок питания 750W Chieftec (APS-750CB) FAN 135мм, Active PFC, 24+4+6pin SATA ATX 3 шт 3700р за шт http://www.regard.ru/catalog/tovar43162.htm Видеокарта AMD (ATI) Radeon R9 280X XFX PCI-E 3072Mb (R9-280X-TDFD) штуки 4 - 9000р за шт http://www.regard.ru/catalog/tovar141332.htm Видеокарта AMD Radeon R9 280X 3072M ASUS R9 280X R9280X-DC2-3GD5-V2 (трехслотовая) - 10 шт 10500 за штуку http://www.meijin.ru/shoptvdscr?goodsid=120876 PNY Quadro 4000 375Mhz PCI-E 2.0 2048Mb 2800Mhz 256 bit DVI б\у - 30000р http://market.yandex.ru/model.xml?modelid=6416472 Intel Xeon L5640 Gulftown (2267MHz, LGA1366, L3 12288Kb) б\у - 5000р http://market.yandex.ru/model.xml?hid=9 ... id=6133153 Видеокарта PowerColor HD6990 4GB GDDR5. неисправна. вылетели несколько "стекляшек" по питанию (VT1676SF - 3шт. VT1556MF -1шт.) стоимость ремонта в районе 1000р. - 4000р http://www.nix.ru/autocatalog/svga_powe ... 15741.html Модуль памяти Samsung m393b1k70dh0-ch9 8GB DDR3 pc3-10600r 1333 MHz 240-Pin ECC REG Server RAM б\у - 2500р http://fcenter.ru/product/goods/109403 Новые боксовые не вскрытые процы - 30% от Регарда Процессор AMD Athlon 5150 Kabini (AM1, L2 2048Kb) Box http://www.regard.ru/catalog/tovar149133.htm Процессор AMD Athlon 5350 Kabini (AM1, L2 2048Kb) Box http://www.regard.ru/catalog/tovar149134.htm Процессор AMD Sempron 3850 Kabini (AM1, L2 2048Kb) Box в регарде нет боксового, пусть будет просто по цене ОЕМ http://www.regard.ru/catalog/tovar146691.htm Процессор AMD Socket FM2 A6 X2 6400K (3.9GHz) 1Mb, Radeon HD 8470D, (TDP 65W) (AD640KOKA23HL) Box http://www.regard.ru/catalog/tovar131882.htm Процессор Intel Socket 1150 Celeron G1820 2.7Ghz 2Mb oem (TDP 53W) Box тоже нет боксового. по цене OEM http://www.regard.ru/catalog/tovar143510.htm Процессор Intel Socket 1155 Celeron G1630 2.8Ghz 2Mb oem (TDP 55W) Box http://www.regard.ru/catalog/tovar135179.htm Процессор Intel Socket 1155 Celeron G1850 2.9Ghz 2Mb oem (TDP 55W) Box http://www.regard.ru/catalog/?query=Celeron+G1850 так же по цене ОЕМ Intel Xeon E5-2620 Sandy Bridge-EP (2000MHz, LGA2011, L3 15360Kb), 6 недорогих ядер на 2011 сокет новый оем, вставлялся в мать для проверки 15000 http://market.yandex.ru/model.xml?modelid=7896469 Жесткий диск 3Tb SATA-III Western Digital Red (WD30EFRX), бу около года, использовался под хранилище файлов. http://www.regard.ru/catalog/tovar112258.htm 6000р Жесткий диск 2Tb SATA-III Western Digital Caviar Green (WD20EZRX), бу пару лет, использовался под хранилище файлов. http://www.regard.ru/catalog/tovar115100.htm 4000р