Материнские платы для GPU ферм

[trisha]

На встройку подключал оба интерфейса? DVI и HDMI? Смотри ноги в сокете проца, может при монтаже подогнул какую.

Изменено 15 фев 2018, 19:09 пользователем trisha

[Civic]

13 минуты назад, trisha сказал:

На встройку подключал оба интерфейса? DVI и HDMI? Смотри ноги в сокете проца, может при монтаже подогнул какую.

да, оба пробовал. и новый и старый моник через адаптер. смотрел, контакты все целые

Изменено 15 фев 2018, 19:21 пользователем Civic

[Serge Koval]

Если мне память не изменяет, там должна быть опция первичной инициализации PEG/IGD

[tankist]

Коллеги, не подскажете по ASUS Prime Z270-p?
Стоит задача - задействовать интеловскую встройку, при занятом слоте pcie_x16. Беру вставляю красную карту в этот слот, и всё - встройка пропадает. Мало того, иногда даже мать не стартует, при подключении физического монитора в коннектор на материнской плате. Если слот pcie_x16 оставить пустым, то встройка запускается и работает. Я конечно понимаю, что есть всякие M.2 переходники и тройники, но всё же...

 

Поковырялся в настройках биоса, такого явного пункта "force internal graphics" там как бы нету. Обновился прямо из меню, через интернеты до последний версии. Единственное, что можно выбрать "initialize first: AUTO /PEG/ CPU graphics".

[Neotex]

21 минуту назад, tankist сказал:

ASUS Prime Z270-p

 

http://dlcdnet.asus.com/pub/ASUS/mb/LGA1151/PRIME_Z270-P/E12916_PRIME_Z270-P_UM_v2_web_only_20170712.pdf

 

2.6.3

System Agent (SA) Configuration

VT-d [Disabled]

Allows you to enable or disable VT-d function on MCH. Configuration options: [Enabled]

[Disabled]

Graphics Configuration

Allows you to select a primary display from CPU, PCIE and PCI graphical devices.

Primary Display [Auto]

Allows you to select the primary display from CPU, PCIE and PCI graphics devices.

Configuration options: [Auto] [CPU Graphics] [PCIE]

 

 

[tankist]

4 минуты назад, Neotex сказал:

Allows you to select the primary display from CPU, PCIE and PCI graphics devices.

Configuration options: [Auto] [CPU Graphics] [PCIE]

Во, как раз это! Выбираю [CPU Graphics] , вставляю карту вега56 в слот pcie_x16 -  и фсё, жопа! Убираю карту - всё хорошо.

[Neotex]

@tankist А если другой модели карту воткнуть, не вегу? может глюк связанный именно с вегами?

[Алекс Кид]

Материнка MSI Z270 KRAIT GAMING. Завелось 8шт.  RX580. Сначала поднимал майнинг на HiveOS, из-за того, что были проблемы с видимостью карт Windows и непонятно, было - то ли в винде проблемы, то ли в райзерах, то ли в контакте. Так вот, добился видимости всех карт на linux. А потом установил систему с отключенным 4G и включенной встроенной видюхой. Подключил 1 карту, установил драйвера. После включил 4G Decoding и добавлял по 1 карте. Единственная проблема на этой мамке, что как только в bios отключаешь встроенную видюху, при включенном 4G, система сразу перестает грузится (нет даже обращения к диску). Висит черный экран. Пришлось встроенную видюху отключать в винде, иначе автобернер напряжение не показывает.

[tankist]

4 часа назад, Neotex сказал:

А если другой модели карту воткнуть, не вегу? может глюк связанный именно с вегами?

Благодарю за подсказку, вроде как нащупал. Всё отсоединил и воткнул rx470: со встройкой работает, итого 2 карты в загруженной винде.

 

Поменял rx470 на вегу - и опять работает. Ладно думаю, решил добавлять по одной карте. На 5-ой карте словил тот самый глюк, т.е. на самом деле материнка стартует, но как бы уходит в "reboot loop". Все карты веги, однако.

 

Самое интересное: 5 карт + встройка тоже работают. Главное - ничего нельзя втыкать в pcie_x16... Тьфу, одним словом, пусть пока 6 карт без встройки маслают.

 

ЗЫ на вегах затычки hdmi-vga, dp-vga, dp-dvi ничего не делают, от слова вообще. Либо хардкор 640х480 с лагами, либо жесть - подключай монитор во время запуска (потом, правда, можно отключить).

[beastyyork]

Помогите решить вопрос тут чтобы не выносить в отдельную тему.

имеется 5 ферм на AsRock FATAL1TY H270 PERFORMANCE

карты Sapphire PCI-Ex Radeon RX 570 Nitro+ 8GB по 6 штук на ферму

БП серверные 2400ватт 1 на две фермы

ssd 120GB

RAM 4GB

виртуальной 20000

WIN 10 Pro

 

Поставил винду на одну ферму с одной видюхой, настроил все. запустил майнинг - все ок.

Склонировал все на ссдешки. 

Доставил 5 видюх, в БИОСе повключал 4G и ТУЛУД 3.5 повыключал сериал порты, аудио, ван радио и ргб подсветку. поставил всем пси-ех Gen1

Вроде все пошло. Отключил монитор и пошел настраивать остальные фермы.

 

И тут НАЧАЛОСЬ. После запуска майнинга на 2ой ферме с 6ью видюхами через пол часа - 20 мин. монитор отключался, майнинг зависал, по тимвиверу не доступен, но сам комп продолжал работать - вентиляторы крутились.

3-яя ферма еще хуже! каждые 2-3 минуты происходило тоже самое!

Причем у меня несколько ферм собранных на этой мамке работают отлично несколько месяцев.

Перепробовал ВСЕ. даже винду переставлял и обновлял. Даже с одной видюхой запускал - все равно зависания.

 

И тут я решил отключить монитор от ферм...

И о ЖЕСТЬ - они ЗАРАБОТАЛИ. 3 дня полет нормальный. НО я не могу заснуть теперь так как не могу понять что это за ахинея!
 

 

 

Изменено 21 фев 2018, 21:07 пользователем beastyyork

[Denis Slonov]

Всем привет! Помогите мать настроить.
Риг состоит из:
Материнская плата Gigabyte ga-h110-d3a; BIOS разные ставил ничего не меняется F22, F23, F25
Память: CRUCIAL CT4G4DFS824A DDR4 4Gb 2400MHz
Процессор CPU Intel Celeron G3900
Твердотельный накопитель: ssd Smartbuy ignition Plus 2.5" 60gb
Видеокарты: MSI Radeon RX 580 1393Mhz PCI-E 3.0 4096Mb 7100Mhz 256 bit DVI 2xHDMI HDCP Gaming X 3шт (hunix)
ASUS Radeon RX 580 1360Mhz PCI-E 3.0 4096Mb 7000Mhz 256 bit DVI 2xHDMI HDCP Dual OC. 3шт (elpida)
Рейзера 007s molex и sata (10шт)
Блоки питания Corsair TX750H и EVGA 750W Gold
Операционка HIVE OS последняя версия (стоит на SSD)
Настройки биоса: gen2, vt-d enable, 4g decording enable, mining mod disable.

Проблема следующая: 3 карты MSI работают только в слоте pci-x 16, в остальных пяти слотах x1 карты не видно. 3 карты ASUS работают в любом из 6 слотов. Таким образом при любом раскладе в риге работают только 4 карты: 1 msi в слоте 16x и 3 карты Asus в остальных слотах. Рейзера менял много раз, карты MSI вставлял в рейзера в которых Asus отлично работают в x1, но ничего это не меняет.
Помогите пожалуйста разобраться. До этого собрал аналогичный Риг, но карты Gigabyte rx580 Gaming все работает как часы, а тут третий день бьюсь и только 4 карты. Доп. питание на материке пробовал подключать, проблема не решается.

[muilfa]

11 час назад, Denis Slonov сказал:

 

http://www.gigabyte.ru/microsites/148

 

ну дык  (mining mod disable) наоборот надо ставить ENABLE

[Torquemada]

Здравствуйте!

Коллеги, посоветуйте, пожалуйста, материнку, на которой гарантировано запустится связка из Ubuntu 16.04 плюс 6 штук шитых RX580. Очень желательно, чтобы LGA1151 + DDR4, ибо проц и память есть.

На имеющейся в наличии MSI Z170A Gaming Pro Carbon больше 4 красных карт под Linux не завелось ((((((( 

 

Заранее спасибо!

[IiSs]

А давайте попробуем определить лучшую материнскую плату на 8 и боле видеокарт?

•  Asus H270-Plus - у меня без танцев с бубном заработало 8 карт RX588.

 

Правда потом сама мать выключилась навсегда. Но вначале заработало.

Сейчас нахожусь в процессе выбора новой материнки. Но не Асус(!)- хватит с меня.

[Anspach]

Хочу поделиться своей болью и печалью и поискать совета на данном замечательном ресурсе.
Ибо идет пример 10-й день моей борьбы с этой платой и терпение подходит к концу. 

Итак, что имеем: 

    MB:      Gigabyte GA-H110-D3A
    GPU:     Asus Strix 1070Ti x 6
    PSU:     EVGA SuperNOVA 650 G1, 80+ GOLD 650W x 2
    CPU:     Intel Celeron G3900 
    Райзеры:  Красные с питанием sata/6pin/molex. 3 подключены через molex и 3 через 6pin
    Mem:     4Gb Crucial 
    Bios:    F25a
    OS:      Windows 10 64bit (1703 15063.138)

На БП1 подключено питание мат.платы + карты №1-3 + райзеры 1-3
На БП2 подключены карты №4-6, райзеры 4-6
Доп питание PCI к molex-разъемам платы не подключено, райзеры идут со своим питанием.

 

В чем проблема? - а она довольно разнообразна

 

1)  Установил чистую винду и драйвер при первой подключенной карте. Все работает. Стал добавлять карту за картой, 4я карта уже не виделась.
      В свойствах системы карту видно, Afterburner (частоты по нулям) и GPU-Z ее не видят, майнер стартует, но валится с ошибкой.
2)  Переставлял карту в следующие слоты, проблема есть.
3)  Менял райзеры местами, ставил другие, проблема есть.
4)  Менял саму карту, проблема есть.
5)  На какой-то итерации карта заработала в соседнем слоту и была стабильна, то есть майнинг пошел.
6)  Включил дальше карты, с небольшими затупами все 6 появились в диспетчере устройств windows.
7)  Afterburner и GPU-Z все также теряли карты, то не видели 1, то 2, карты рандомные.
8)  Переставил драйвера, на какой-то из версий взлетели все карты. 
9)  Запустил майнер, система вешается в синий экран раз в 5 минут с VIDEO_TDR_FAILURE
10) После N-ой перезагрузки система опять теряет 1-2 карты, иногда они видны в диспетчере, иногда с ошибкой.
11) Общая нагрузка фермы не превышает 800Вт, в те моменты, когда видны все 6 карт
12) Пробовал пользоваться как с монитором, подключенным к VGA-порту, так и к первой видеокарте, разницы нету.
13) Пробовал с включенной и отключенной встроенной графикой, не влияет на проблему.
14) Пробовал Linux HiveOS, все карты видны, майнинг начался и через час все 6 карт вылетели. Miner died и Failed to initialize miner вижу.
15) Пробовал разные версии драйверов, каждый раз удалял через DDU в безопасном режиме и ставил на одной карте. Ситуация не меняется.
16) Блоки питания местами менял, запитывал карты зеркально, без разницы, все равно отваливаются карты 4-6, то одна, то две, то синий экран.

 

Текущая ситуация - все карты видны в системе, windows вылетает в синий экран VIDEO_TDR_FAILURE, майнер в линуксе тоже. Как пофиксить, уже не знаю.

Все тесты ведут к выводу, что проблема в материнской плате или настройках bios.

 

- Пробовал разные режимы в BIOS:
    GEN1 показавает себя самым стабильным, GEN2/3/Auto практически всегда ведет к ошибке карты в винде.
    4G decoding = enable, иначе не видит больше чем 4 ВК никак
    Mining mode = пробовал вкл и выкл, особой разницы не заметно, винда грузится в обоих режимах и потом синий экран. Lninux - аналогично.
    vt-d = enable
    Windows 8/10 Features - Windows8/10
    CSM Support = Enabled
    Other PCI devices = UEFI
    Initial Display output = пробовал оба варианта и IGFX и PCI-E Slot

 

Буду благодарен за любые советы.

Изменено 1 мар 2018, 21:47 пользователем Anspach

[Serge Koval]

@Anspach полагаю, из Биоса и системы были удалены/отключены всё ненужные устройства (lpt, audio...)?

[Anspach]

3 минуты назад, Serge Koval сказал:

@Anspach полагаю, из Биоса и системы были удалены/отключены всё ненужные устройства (lpt, audio...)?

Да, конечно – audio, internal vga, lpt и еще что-то было отрублено сразу же.

[Serge Koval]

@Anspach , не знаю, может поможет как-то: у меня мать Асус Н270. Глючила жёстко, симптомы были схожими. Помогло удаление из диспетчера устройств High Definition чего-то_там. Системе не хватало ресурсов, а этих устройств было много )

[Anspach]

2 минуты назад, Serge Koval сказал:

@Anspach , не знаю, может поможет как-то: у меня мать Асус Н270. Глючила жёстко, симптомы были схожими. Помогло удаление из диспетчера устройств High Definition чего-то_там. Системе не хватало ресурсов, а этих устройств было много )

high precision timer /// IOAPIC-119-Entries -- данные опции отключены.

 

Еще из интересного, в режиме GEN1 отвала карт нету, но windows сразу валится в BSOD при майнинге.

В режимах GEN2/3/AUTO синих экранов не видно, но невозможно поднять все 6 карт, например постоянно такие проблемы 

 

 

[Anspach]

30 минут назад, Serge Koval сказал:

@Anspach , не знаю, может поможет как-то: у меня мать Асус Н270. Глючила жёстко, симптомы были схожими. Помогло удаление из диспетчера устройств High Definition чего-то_там. Системе не хватало ресурсов, а этих устройств было много )

Не совсем сперва понял, это из диспетчера устройств windows нужно убрать, не в bios?

Да, тут много High Definition Audio устройств, но это, как я понимаю просто передача аудио от ВК по HDMI. Тем не менее попробую их все удалить, спасибо.

 

Немного смущает наличие проблемы и в Linux, что наводит меня на мысль, что дело не в конкретной ОС/драйвере.

[Anspach]

Судя по быстрым тестам, в режимах G2 и G3 система работает "стабильно", по крайней мере нет вылета через пару минут после старта майнера, который я наблюдаю на G1 режиме. Осталось решить проблему с отваливанием одной из карт. 

Цитата

Да, тут много High Definition Audio устройств, но это, как я понимаю просто передача аудио от ВК по HDMI. Тем не менее попробую их все удалить, спасибо.

Лишние  устройства удалял, не помогло. 

Попробую выставить режим G2/G3 и решать проблему с отвалом карт, а не проблему BSOD в режиме G1.

В любом случае буду благодарен за советы и обязательно выложу решение, если оно будет найдено.

[sergwayne]

9 hours ago, IiSs said:

Asus H270-Plus

 

сейчас такую мамку нигде не купить

[Anspach]

8 часов назад, Anspach сказал:

Судя по быстрым тестам, в режимах G2 и G3 система работает "стабильно", по крайней мере нет вылета через пару минут после старта майнера, который я наблюдаю на G1 режиме. Осталось решить проблему с отваливанием одной из карт. 

Не работает система стабильно на G2. Отвал одной из карт был решен так - карта была видна в системе windows, но АБ видел все параметры по нулям.

Вставил в карту HDMI монитор, перезагрузил риг и о, чудо все карты работают. Запустил майнинг, через пару минут система в ребут, даже без синего экрана.

Что интересно, когда вставляешь монитор в карту #1, то синий экран, когда в карту #6, которая отваливалась до этого - то просто ребут с секундным артефактом на экране до этого. 

 

Выключил совсем 6ю карту, запустил 5 в GEN2 на линуксе на ночь, в итоге отвал майнера спустя час.

 

 

Если что, 1-6 это нумерация карт слева-направо, самая левая (1) - самая холодная, выдувает воздух наружу, не на карты.

По разгону - 65% PL, +150 Clock +500 memory, FAN 45 – все довольно щадящее.

Температура карт в пределах 50-65 градусов.

Изменено 2 мар 2018, 07:19 пользователем Anspach

[IiSs]

12 часа назад, sergwayne сказал:

сейчас такую мамку нигде не купить

https://hard.rozetka.com.ua/ua/asus_prime_h270_plus/p13047860/

Но я себе заказал ASUS Strix Z270H Gaming

отпишусь как запустится

[sergwayne]

@IiSs  ну это видимо на Украине, в РФ только под заказ к сожалению.