8+ видеокарт на одной ферме

[r9380]

у меня 8 карт в legacy на z270f. UEFI зло.

UEFI очень даже ничего, если разобраться как его готовить.

я правильно понимаю, у вас без 4g encoding, запустилось 8 карт?

или у вас получилось включить 4g encoding без UEFI?

[iRybin]

 

 

или у вас получилось включить 4g encoding без UEFI?

 

да это включается даже на серверной матери... но там ещё и некие доп. параметры для этого encoding есть - вот про них бы почитать...

[r9380]

да это включается даже на серверной матери... но там ещё и некие доп. параметры для этого encoding есть - вот про них бы почитать...

ну просто дело в том что на тех матерях что мне встречались что на 1хх что на 2хх чипсетах, 4g encoding без UEFI впринцыпе не включить. И на просторах интернета я не видел упоминаний что это возможно, это вот первый человек который утверждает что у него получилось, поэтому я и переспрашиваю. Как на серверных я не вкурсе, ни одной в руках не держал.

Изменено 23 июн 2017, 11:01 пользователем r9380

[iRybin]

@r9380, я боюсь, что мы всерьёз упёрлись в момент, когда пора завязывать с методом тыка и начинать врубаться в сложную матчасть организации современных систем со всеми особенностями адресации, адресными дырами и распределением шин и линий, QPI, что такое MMIO и так далее.

[hardsign]

Материнская плата Asus Prime Z270-A, 7 слотов PCIex

 

Карты (Асус 480 8Г)  подключены только в слоты, без М2 пока что.

Все делаю в точь-точь с инструкцией шаббата, пошагово. Т.е.

1. Обновил биос.

2. Включил Gen2

3. Отключил 4G encoding

4. Установил вин10 х64 с одной картой (UEFI включен, сетка подключена - но пробовал и оффлайн)

5. драйвера интел (чипсет и МЕ), перезагрузка (+ 64Г своп)

6. драйвер амд, перезагрузка

7. выкл, соединил +остальные 6 карт (т.е. всего 7)

8. включил 4G encoding
 

И тут начинается. С ходу система видит 5 карт.

Меняю карту из третьего слота местами с четвертым. Система видит 6 карт.

Ок 6 карт, теперь просто отключаю карту из третьего слота = система после перезагрузки видит 4 карты!

 

В зависимости от простых перетасовок карт по слотам - результат от 2 карт, до 6 карт. 7 не получается никак. Вчера на другом точно таком же риге = с подобными проблемами, после очередной перетасовки карт = включились все 7, идет майнинг, все ОК. На остальных ригах = ни в какую :( Карты и райзера проверил по-одной = рабочие.

 

Если кто проходил путь именно на этой матери = возможно, есть нюансы по другим опциям биос. Подскажите.

Изменено 23 июн 2017, 12:40 пользователем hardsign

[Skylion]

запустил на asus z270-p 8 зеленых видях. При этом минут 30 втыкал вытыкал переходник m.2, и в один момент видяха определилась. Поэтому на 100% на этой материнке 8 карт работают, вся тонкость только в угадывании контакта м.2. с его сокетом.

Вчера я переделывал охлаждение - разобрал половину фермы, но М2 не трогал - после сборки запустилось только 7 карт, раз 5 даставал, втыкал - завелось.

Причем проблема только с дальним от проца разъемом.

[iRybin]

8 карт - предел для Windows 10... Система "видит" и 10 (11-ая на монй матери не может с кем-то ресурсы поделить) - но на этом всё заканчивается. Дичайший висняк, ни майн, ничего, кроме Device Manager-а - не запускается. Возможно это предел дров nVidia - по-хорошему надо воткнуть туда ещё карты AMD... но у меня нету подходящих с 1 слотом питания (вернее пока очень нехочется дербанить Nano.

 

А вот Ubuntu 16.04 на этой матери с подключёнными GPU не грузится вообще... не знаю, может процы слишком новые или ещё что (без карт - грузится!). Буду 17-ую ставить...

Изменено 23 июн 2017, 20:56 пользователем iRybin

[Enzo]

Ты по SSH на неё ходил? :)

[iRybin]

@Enzo, оно даже не пингуется... с флешки дистрибной то же самое... винди-глюкавый в своём "чёрном экране" живее ))

[Marduk]

по биосу.. там можно вообще не вникать. Скачивайте профиль настроек , загружайте его в биосе с флешки , сохраняемся F10 и все. 

Единственное- перед установкой ОС ,  выключить 4G Encoding. (включать его уже позже)

 

не грузит профиль - OC Profile failed to load the profile.

биос сейчас последний - 0610, профиль видимо от предыдущего ? 

может есть последний ? 

МП - asus z270-p

Изменено 24 июн 2017, 11:20 пользователем boo50

[mikhan]

 

 

UEFI очень даже ничего, если разобраться как его готовить. я правильно понимаю, у вас без 4g encoding, запустилось 8 карт? или у вас получилось включить 4g encoding без UEFI?

как на запущенной системе (вин10) узнать, уефи или легаси?

[Uliss]

не грузит профиль - OC Profile failed to load the profile.

 

 

Нормально загрузилось.

Держи - profil prime z270.rar

:)

[Marduk]

все равно не хочет ( свой биос выгрузил на флешку, потом удачно залил для теста

4g в биосе включил, serial port выключил, 2gen - не нашел где.

Изменено 25 июн 2017, 03:36 пользователем boo50

[iRybin]

Я просто оставлю это здесь:

 

[Neotex]

@iRybin, Хотим подробностей ))

[tankist]

 

 

iRybin, Хотим подробностей ))

Присоединяюсь )) С картами амд на борту Asus z270-p, окаянный мастдай, и максимально удаётся запустить 8 карт. А у нвидия - сразу одиннадцать!

[ololo]

 

 

С картами амд на борту Asus z270-p, окаянный мастдай, и максимально удаётся запустить 8 карт. А у нвидия - сразу одиннадцать!

Так на скриншоте не мастдай, а unix-like, судя по директории /opt. Под linux и карты amd в кол-ве больше 8 заводятся.

[Enzo]

Я просто оставлю это здесь:

Таки добил, маладца :) Всё же на бубне взлетело?

[Skylion]

Интересен предел Никсов - сколько максимально карт можно запустить?

[iRybin]

 

 

Присоединяюсь )) С картами амд на борту Asus z270-p, окаянный мастдай, и максимально удаётся запустить 8 карт. А у нвидия - сразу одиннадцать!

 

на 10 тоже 8 на том же железе... хотя видила все 11... это ограничение дров

 

 

 

Таки добил, маладца :) Всё же на бубне взлетело?

 

на 17-ой... причём почти сразу - но пришлось биос поковырять немного ) - но я сдуру поставил серверную и теперь у меня нет иксов - а значит и управления кулерами и разгона...

 

 

 

Интересен предел Никсов - сколько максимально карт можно запустить?

 

ну у меня ещё 4 карточки есть в мини-ферме - в теории могу попробовать их докинуть - но уже реальная проблема это разложить на столе и подключить по питанию...

[Skylion]

ну у меня ещё 4 карточки есть в мини-ферме - в теории могу попробовать их докинуть - но уже реальная проблема это разложить на столе и подключить по питанию...

 

Если не сложно, попробуйте - очень интересный опыт!

У меня 8 шт. работают, планирую расширять - в стеллаже есть еще 1 уровень, заказал сплиттеры PCIe (нового образца).

 

И, если будет возможность, опишите сборку Никса.

[Enzo]

на 17-ой... причём почти сразу - но пришлось биос поковырять немного ) - но я сдуру поставил серверную и теперь у меня нет иксов - а значит и управления кулерами и разгона...

Серверную и надо ставить, ибо десктоп в никсах - от лукавого))) А в чём проблема управления? У любого декстопного софта есть поддержка командной строки. Можно поставить xorg без окон, тогда будет работать то ПО, которому окна нужны.

[subw]

Я просто оставлю это здесь:

Этот убогий преобразователь нельзя использовать без дополнительных конденсаторов, пульсации там запредельные

[Enzo]

Интересен предел Никсов - сколько максимально карт можно запустить?

У меня начиная с 14й карты драйвер не распознаёт её со словами "amdgpu: probe of [адрес::карты] failed with error -12". В гуглопедии не нашёл таких сообщений с этим же кодом. Но в никсах этот код означает нехватку ресурсов, хотя lspci видит все карты.

[Skylion]

У меня начиная с 14й карты драйвер не распознаёт её со словами "amdgpu: probe of [адрес::карты] failed with error -12". В гуглопедии не нашёл таких сообщений с этим же кодом. Но в никсах этот код означает нехватку ресурсов, хотя lspci видит все карты.

 

Получается 13 - предел, спасибо! Значит еще 5 можно подкинуть.

 

Какую сборку используете?