8+ видеокарт на одной ферме

[BoMe]

 

На 12 слотов PCI-ex  https://www.overclockers.ua/news/hardware/2017-06-27/120557/

Берите пока есть https://ru.aliexpress.com/item/CNKESIN-TB250-BTC-PRO-100-New-in-box-12PCIE-for-Biostar-TB250-BTC-TB250-1151-DDR4/32819783759.html?ws_ab_test=searchweb0_0,searchweb201602_1_10152_10065_10151_10068_10301_10136_10137_10060_10155_10062_437_10154_10056_10055_10054_10059_303_100031_10099_10103_10102_10096_10169_10052_10053_10142_10107_10050_10051_10084_10083_10080_10082_10081_10110_519_10111_10112_10113_10114_10182_10078_10079_10073_10123_10189_10127_142_10125,searchweb201603_50,ppcSwitch_5&btsid=bdd0eaae-6ddd-40bc-a364-39986cfef364&algo_expid=7fb55c02-e92d-4ff6-925b-deb67c568ba0-0&algo_pvid=7fb55c02-e92d-4ff6-925b-deb67c568ba0

На 8 слотов PCI-ex https://ru.aliexpress.com/store/product/CNIKESIN-Mining-Board-8-Graphics-Motherboard-PGA988-Board-HM7X-BTC-8PCIE-PCIE-Intel-HM70-75-76/1683098_32817161520.html?spm=2114.12010611.0.0.jSUpfX

 

Приветствую, я вижу на Amazon предложение от официального магазина Biostar за 214.99 с началом поставок 6 июля. На Али цена без скидки 14 458,22 цена со скидкой: 13 735,46 но это так мелочи, самое интересно как они на матери все это реализовали и почему именно такое количество портов и почему именно на том чипсете, который на ней используют и еще кое что, подробнее ниже. На часть вопросов я смог найти ответ, на часть увы нет. Поделюсь, тем, что нашел. Надеюсь кому-то это поможет улучшить и понимание вопроса в целом.

 

(извините за обьем, почему-то не смог спрятать под кат) 

 

Эта материнка TB250-BTC PRO Ver. 6.x (так значиться на странице продукта) с 12 слотами pcie сделана хоть и на свежем (2017 год) чипсете 200 ой серии но на его самой младшей версии PDF от Biostara и страница продукта, там про это есть, а именно B250 на 12 линий, про что нам любезно повествует INTELL у себя на сайте но это еще не все, в datasheet от INTEL есть интересные детали. На 19 странице есть пункт который описывает что внутри 200 ой серии все чипсеты поддерживают до 16 устройств\портов одномоментно, не более, даже при 24 линиях pcie. На 20ой странице указана поддерживаемые конфигурации для процессорных линий pcie для каждого из чипсетов 200ой серии. Для Z270 и Q270 это 1х16 или 2х8 или 1х8 и 2х4 а для B250, Q250 и H270 это 1х16 то есть на Z270 и Q270 портов на процессорных линиях можно сделать аж 3 а прямо под этой табличкой, в самом низу 20 ой страницы присутствует еще более интересная табличка, из которой следует, если я все правильно понимаю, что на матери с Z270 и Q270 может быть распаяно еще и до 20 pcie x1 портов от чипсета, правда такая мать останется без многой периферии, что не очень хорошо, но с 6 портами USB 3.0 но с учетом поддержки 16 устройств, в этом и смысла нет. Итого если я все правильно понимаю, на Z270 и Q270 возможно построение такой платы которая даст 16 портов pcie 1 под карты от чипсета и 3 порта (8х, 4х, 4х) от процессора и еще 4 линии остаётся для всякого разного но мы их не сможем использовать а LAN и HDD\SSD придется реализовать через свободные через USB 3.0 И того если мы не упремся не в какие другие ограничения мы получаем 19 портов pcie (16 штук односкоростных от чипсета и 3 штуки от процессора 8х 4х 4х)

А еще у INTEL  есть очень интересный чипсет x58 для сокета 1366 с 36 pcie линиями и в его datasheet на 35 странице есть пункт озаглавленный supported degraded modes если я все верно понимаю, это дает возможность сделать 32 штуки pcie 1 портов и еще два порта х4 останется, не нашел только с ходу максимальное количество поддерживаемых устройств\портов.

Надеюсь нас ждет много чудесных матерей под майнинг на multi gpu в ближайшем будущем :)

Если, я где-то, ошибся или, что-то упустил из виду, обязательно напишите, буде очень признателен. (материал подготовлен в поддержку прозвучавшего ранее призыва  от iRybin углубиться в изучение  программно-аппаратной архитектуры ПК)

 

Маленькое дополнение- вот тут и тут достаточно наглядно показано в обзорах как это все на материнских платах вообще работает. Схемы из обзоров ниже. В самих обзорах еще и словами все подробно описано. Вообще ixbt молодцы, за чет того, что они публикуют в своих обзорах таких схемы, можно очень хорошо понять, что будет происходить на материнской плате при подключении того или иного набора оборудования. Без этих схем это сделать достаточно сложно. Жаль, что производители не предоставляют этот материал.

 

Изменено 2 июл 2017, 09:06 пользователем BoMe

[дедулик]

много чудесных матерей это канеш гуд! :) Но вот бы еще сложность не галопировала да цены монет не сильно падали.

[r9380]

На 19 странице есть пункт который описывает что внутри 200 ой серии все чипсеты поддерживают до 16 устройств\портов одномоментно, не более, даже при 24 линиях pcie.

Причина в процессорах интел. Вся десктопная линейка поддерживает максимум 16 pci-e.

[Gapey]

Надеюсь нас ждет много чудесных матерей под майнинг на multi gpu в ближайшем будущем

проблема не в дефиците линий PCI-E или невозможности их сконфигурировать нужным образом , проблемма в распределении ресурсов необходимых для функционирования оборудования .... большинство биосов просто не могут разрулить такое количество видеокарт ...

наберите в гугле ASM1184e и ASM1187e и увидите что на многих матерях , стоят PCI-E хабы для подключения набортной периферии , тоесть портов получается более чем достаточно для всего ... однако при установке кучи видеокарт приходится отключать все лишнее ... не из-за нехватки линий , а из за невозможности распределить ресурсы (окна памяти , прерывания ) ... 

материнки заточенные специально под майнинг будут стоить неоправданно дорого , ибо весч специфическая ...  для больших ферм нужно думать как вообще обойти биос , тогда можно будет использовать любые материнки  ... те стартуем с набортной видюхой , а после загрузки ядра системы подключаем карты и раздаем им ресурсы ...  

самый простой и красивый способ - изменить идентификаторы устройств у  PCI-E хабов так чтобы биос их не идентифицировал , соответственно не видел всего что за ними ... и только после запуска ядра системы и драйвера хаба (с исправленным идентификатором) ОС начинала видеть карты ... думаю линуксоводы смогут справиться с этой задачей ....для опытов можно использовать коммутаторы на базе  ASM1184e , на них даже предусмотрено место под пайку конфигурационного EEPROM , остается найти полную документацию на сам чип ASM1184e ...

 

 

Причина в процессорах интел. Вся десктопная линейка поддерживает максимум 16 pci-e.

найти отработавшие свой срок зеончики 1366/2011/1156 не проблема ... матери под них тоже вполне доставабельны ... но биосы даже на серверных матерях не горят желанием цеплять кучу видеокарт ...  Изменено 2 июл 2017, 10:47 пользователем Gapey

[CombatRa]

Вернемся в 8+ картам в риге.

Предположительно ограничение дровами под Вин10 - не более 8 карт.

Кто нибудь пробовал ставить 8 карт nVidia + несколько карт ATI?

Дрова разные - должно работать.

[Uliss]

@CombatRa, 8 карт это ограничение дров АМД, к 8 красным картам можно еще добавить зеленых карт и все запустится.

Этим еще 3-4 назад занимались, просто в те времена в массы не пошли серверные БП и топовые карты в таких количествах было трудно запитать.

Но энтузиастами такие эксперименты проводились.

Помню, на всплеске применения GTX750Ti их добавляли в риги на красный картах.

[iRybin]

 

 

CombatRa, 8 карт это ограничение дров АМД, к 8 красным картам можно еще добавить зеленых карт и все запустится.

 

и nVidia тоже - я же писал об это выше, когда уходил с тестами на Linux. Пробовать надо именно 8 таких + скока влезет до 8 других.

[iRybin]

 

 

Кто нибудь пробовал ставить 8 карт nVidia + несколько карт ATI?

 

руки не дошли - вернее не было обвеса нужного. Сейчас оно переехало на Linux. Но, что хуже - нет возможности гонять эту гидру - нам на передержку привезли карликового африканского ёжика от кузины моей - и он живёт в той комнате. Зверушку жалко заводить этот ад (оно на блоке IBM на 2980 ватт - кто знает что это такое - поймёт). На днях должны три 2600-ки от Bitmain приехать - они тихонькие - возможно продолжу.

 

До кучи заказал на Ali ещё по 4 хаба новых на 3 и 4 порта - это раз. Два - собрал систему на матери 11 слотов на прошлом поколении 2011 сокета (наконец пришли камни) - но тоже пока не заводил.

 

Самая теперь проблема - это видяхи. Обвеса достаточно запитать ещё карт 30, но их тупо стока нету. Вроде нашёл выход на Китай - но тоже... сумма кругленькая за раз стока заслать..

 

Ну и самая главная подстава - меня то-ли обманули, то-ли продолбались электрики - и вместо 30кВт мощности у меня на столбе стоят вставки на 15... и я тут на днях пожёг на одной из фаз (этой самой гидрой) - собственно так это и выяснилось. И бригада, которая приехала чинить сказала, что мол дефолт - 15, и без договора больше не могЁм поставить. А договор был дома в городе - ибо не дело держать бумажки на деревянный дом в этом самом доме... Так что теперь предстоит бодание с сетями на тему "а какого хрена"??? - А я уже все 15 выбрал текущим железом + тем, что в доме для жизнедеятельности используется.

[ushba]

Материнская плата Asus Prime Z270-A, 7 слотов PCIex

 

........

В зависимости от простых перетасовок карт по слотам - результат от 2 карт, до 6 карт. 7 не получается никак. Вчера на другом точно таком же риге = с подобными проблемами, после очередной перетасовки карт = включились все 7, идет майнинг, все ОК. На остальных ригах = ни в какую :( Карты и райзера проверил по-одной = рабочие.

Похожая ситуация часто возникает, когда не хватает ресурсов.

Попробуйте отключить в БИОСе последовательный порт и звук, и, как вариант(но не уверен) - часть USB

Проверьте, последний ли БИОС в матери, и есть еще вариант  - сохранить с работающей фермы профиль настроек БИОС, и загрузить его в проблемную.

Изменено 4 июл 2017, 01:29 пользователем ushba

[ushba]

Ну вот и пришёл тот день, когда заработали 8 карт на одной матери. :dance3:
Мать  - Asus Prime Z270-P,
Зоопарк: 
две штуки Asus rx580 - 8G Hynix,
две  штуки XFX rx850 :russian: 580  - 8G Samsung,
две штуки MSI Rx570 4G Micron,
одна шт PowerColor rx570 4G Elpida,
одна шт MSI rx480 8G Samsung

 

Драйвера июньские.
atikmdag-patcher 1.4.5.

Все pci-e слоты выставлены в gen2.

Всё работает, 234-236  mh/s

Но! При сбое любой из карт система уходит в глухой висяк, после которого часть карт в диспетчере устройств видны с ошибкой, и  нужно повторно применять atikmdag-patcher.
 

Сталкивался кто-то с таким симптомом?

Изменено 4 июл 2017, 13:00 пользователем ushba

[Enzo]

две  штуки XFX rx850 - 8G Samsung,

И по чём такое чудо брали?  :rolleyes:

[CombatRa]

@CombatRa, 8 карт это ограничение дров АМД, к 8 красным картам можно еще добавить зеленых карт и все запустится.

Именно это имел в виду. Осталось дело за малым - где то раздобыть красных карт.

[ushba]

И по чём такое чудо брали?  :rolleyes:

это очепятка :)

[Роман Чистяков]

Мать ASUS PRIME Z270-P
2 переходника м2-pci-e
1 переходник 1-3 pci-e
Карты на скриншоте (6xAMD + 3xNVIDIA)
Всё заработало при первой загрузке, вообще никаких проблем.

Изменено 17 июл 2017, 21:06 пользователем ullikume

[electrodsk]

 

 

Всё заработало при первой загрузке, вообще никаких проблем

​Z270 рулит!

[iRybin]

Карты на скриншоте Всё заработало при первой загрузке, вообще никаких проблем.

 

ЧТД... так что видимо предел винглюка - 8+8.. но надо проверять :)

 

Интереснее предел Линукса и серверной матери на 2 проца... или программ-майнеров.... щас если ЭЭ сделают мне - попробую вынуть 4 своих нВидии и докинуть к своим 11 через переходнички и посмотреть - взлетит это чудо или нет :)))

 

Если взлетит - то мысля начинает тянуться в сторону 1050 карточек... они, конечно, говно - но их можно набить 10 штук в U-корпус на относительно дохлый БП.

Изменено 4 июл 2017, 22:46 пользователем iRybin

[electrodsk]

 

 

Интереснее предел Линукса и серверной матери на 2 проца... или программ-майнеров

​Так уже писал чел с супермикро на 13 карт, что больше 12 майнеры не видят

[iRybin]

​Так уже писал чел с супермикро на 13 карт, что больше 12 майнеры не видят

 

там были AMD, у меня nVidia... там мать 1-процессорная, тут - двух... В общем - протестирую интереса ради, хоть и неохота дико разбирать ферму на 4 карточки - но иначе никак... надо было сразу все KATANA брать, какие были...

Изменено 4 июл 2017, 23:04 пользователем iRybin

[electrodsk]

там были AMD, у меня nVidia...

Дык майнер то один - клэймор

 

Изменено 4 июл 2017, 23:03 пользователем electrodsk

[iRybin]

Дык майнер то один - клэймор

 

ну... я не помню, когда зелёными им копал, если честно :) - EWBF и ccminer - и последнего минимум 2 версии уже и минимум 2 ветки на гитхабе.

 

ЗЫ: я не копаю эфир уже ХЗ скока - не интересен он мне

Изменено 4 июл 2017, 23:07 пользователем iRybin

[electrodsk]

ЗЫ: я не копаю эфир уже ХЗ скока - не интересен он мне

​Так он только в последние дни и обрел интерес на нвидии

ССminer у меня на любом алго меньше зека давал (кроме либры строго на 1080), а ЗЕК с позавчера моему ИМХу проц на 10 меньше Эфира дает

и еще один момент в EBWF - греет, падла, нещадно и на 25 Вт с карты больше Клеймора кушает

Изменено 4 июл 2017, 23:56 пользователем electrodsk

[CombatRa]

Вот так да! Хорошая новость.

Через месяц будут доступны Асроки на PCI-e, теперь понятно в какую сторону можно копать.

 

 

 

Дык майнер то один - клэймор
 

А что мешает  майнера запустить. 1 на зеленые, 1 на красные.

 

 

Даешь ветку "13 карт на одной ферме"!  :)

Изменено 5 июл 2017, 03:22 пользователем CombatRa

[Skylion]

Приехал мне сплиттер "нового образца". Раздобуду карт - буду тестировать.

 

[Gapey]

 

 

там были AMD, у меня nVidia... там мать 1-процессорная, тут - двух...

далеко не все серверные матери могут задействовать линии PCI-E со второго процессора (так как для этого нужно ставить дополнительные коммутаторы , иначе без второго процессора не будет работать часть слотов) ...

+ нужно будет экспериментировать с подключением коммутаторов в разные слоты ... 

 

ЗЫ: удачи в подключении 16++ карт ...

[iRybin]

 

 

далеко не все серверные матери могут задействовать линии PCI-E со второго процессора (так как для этого нужно ставить дополнительные коммутаторы , иначе без второго процессора не будет работать часть слотов) ...

 

эта как раз наоборот - без второго проца половину не использует ) - в мане чёрном по белому написано

 

 

 

+ нужно будет экспериментировать с подключением коммутаторов в разные слоты ...

 

это и на 11 надо было делать - втыкание в любые на выбор - не прокатывало... в итоге вообще часть в биосе руками режим менялся, пока заработало :)

 

Я ж писал - неделя секса была с этим, пока взлетело. Но когда взлетело - как-то просто и легко... даже не поверил.

 

Теперь главная проблема - видяхи. Те KATANA, что взял за 27 - сейчас стоят 40 (но хоть появились). Желания спонсировать этот хайп или как сейчас это модно зовётся - ни малейшего желания...