8+ видеокарт на одной ферме

[sergt200]

, правильно я понимаю, что Asus P8B75-M LE (s1155, Intel B75, 2 x PCI-Ex16) имеет 16! линий PCI-E?

https://www.asus.com/ua/Motherboards/P8B75M_LE/

[Fgrtop]

http://amfeltec.com/products/gpu-oriented-cluster/ Эта штука вроде позволяет нарастить до 16карт.

[Serge Koval]

@sergt200,я прошу прощения за то, что упоминал сокет, а не чипсет. Хотя взаимосвязь есть.

 

Так вот, B75 держит максимум 8 линий:

http://ark.intel.com/m/ru/products/64030/Intel-BD82B75-PCH#@product/specifications

X16 - это не количество карт, а тип PCIe разъема. Те самые длинные на материке.

[sergt200]

, про разъёмы я в курсе, сбило именно то, что в описаниях, ссылку на которое я привёл, упоминается 16 PCI-E линий.

я так понимаю, они там пары. поэтому 16, а на самом деле 8. но это рассуждение дилетанта.

[Serge Koval]

@sergt200,шиздят.

[Komonec]

Я, кстати, все таки взял Supermicro X8DTH-IF с двумя ксеонами за 100 баксов.

Закажу хабы и проверю сколько карт можно запустить.

О результатах отпишусь, но видимо это после нового году будет.

http://25btc.ru/ekspierimient-21-vidieokarta-na-sierviernoi-matierinskoi-platie-chast-1/

http://amfeltec.com/products/gpu-oriented-cluster/ Эта штука вроде позволяет нарастить до 16карт.

Цена космическая.

http://www.saelig.com/product/pci-express-expansion.htm

555 баксов.

Изменено 10 дек 2016, 22:19 пользователем Komonec

[webr]

http://amfeltec.com/products/gpu-oriented-cluster/ Эта штука вроде позволяет нарастить до 16карт.

На винде больше 8ми и так не пойдет, а на линуксе есть свои нюансы в плане по

[Komonec]

Есть и такие решения:

 

 

Но цена на них космос.

Изменено 11 дек 2016, 15:27 пользователем Komonec

[yalexey]

На таких решениях удалось поднять с одним процессором 10 видеокарт. Но всё равно на одну ОС приходилось только 8 карт. А вторая ОС была запущена с помощью супервизора. Далее возникли сложности не программного, а аппаратного порядка. Процессор не мог адресовать 11ю карту на разветвлённой шине. То есть, для реализации необходимы кастомные микрокоды чипсета и процессора

[Komonec]

На таких решениях удалось поднять с одним процессором 10 видеокарт. Но всё равно на одну ОС приходилось только 8 карт. А вторая ОС была запущена с помощью супервизора. Далее возникли сложности не программного, а аппаратного порядка. Процессор не мог адресовать 11ю карту на разветвлённой шине. То есть, для реализации необходимы кастомные микрокоды чипсета и процессора

Я вот только нигде не нашел, чтобы кто-то пытался завести больше 10 карт на серверной матери.

[Enzo]

Полезный эксперимент, жаль результатов ещё месяц-два ждать :) Сам заказал себе однопроцессорную на 2011, для опытов.

[aistto]

А что карты на чипсетах z170 держат не более 4-х карт, хотя по спецификации 20 линий pci-e? (лично не проверял :))

http://ark.intel.com/products/90591

Изменено 12 дек 2016, 13:44 пользователем aistto

[Komonec]

Полез смотреть даташиты.

 

z170 chipset datasheet: http://www.intel.com/content/dam/www/public/us/en/documents/datasheets/100-series-chipset-datasheet-vol-1.pdf

 

4 видеокарты = PCIe # 6, 7, 8, 11

 

h81 chipset datasheet: http://www.intel.com/content/dam/www/public/us/en/documents/datasheets/8-series-chipset-pch-datasheet.pdf

 

6 видеокарт = PCIe # 3, 4, 5, 6, 7, 8

 

Почему не работает хаб?

 

Т.е. у нас 8 линий и все x1. Получается хабу делить не чего.

 

Например у ASRock H81 PRO BTC 5 портов PCI-E. Предположу, что 5 портов имеют по одной линии, а шестой порт 2, а если отключить узб и сата контроллеры, то 4 линии.

 

С 5520 и Supermicro X8DTH-IF все поинтересней.

 

Из мануала матери:

 

Т.е. у Supermicro X8DTH-IF два чипсета 5520, у каждого по 4*8+2*2=36, всего 72 линии.

Всего 7 PCI-E портов и в каждом по 8 линий.

И в данном случае хабу есть, что делить.

 

PS это все мои предположения, проверять надо опытном путем.

 

http://25btc.ru/razbiraiemsia-s-pci-e-liniiami/

Изменено 12 дек 2016, 20:11 пользователем Komonec

[Uliss]

у нас 8 линий и все x1. Получается хабу делить не чего.

Всего 7 PCI-E портов и в каждом по 8 линий. И в данном случае хабу есть, что делить.

 

 

 

Да ему пофиг, х1 или х8, да хоть х16, потому, что он овощ коммутатор (мультиплексор) со входом х1 и по очереди подключает единственную входную линию х1 на 3 выхода.

 

 

А для разделения линий нужен мост (bridge), который из х4 шины/линии  делает 4 независимых х1 линий, работающих одновременно (параллельно). Мост для того, чтобы он мог обрабатывать прерывания, а так-то можно их просто развести по сторонам, как пары из кабеля.

 

ИМХО все траблы не на хардварном уровне, а на уровне софта/подпрограмм. Представь, выделил ты всего 2 разряда для идентификатора карт и теперь, хоть усрись, но больше 4 карт подключить не сможешь. Закончатся ID и или зависнет BIOS от такой неопределенности или пропустит "через себя" в ОС только 4 карты.

 

P.S. Это все от скудности словарного запаса аглицкой мовы и трудности перевода понятия HUB - узел, концентратор.

[Komonec]

 

 Да ему пофиг, х1 или х8, да хоть х16, потому, что он овощ коммутатор (мультиплексор) со входом х1 и по очереди подключает единственную входную линию х1 на 3 выхода.

 

А для разделения линий нужен мост (bridge), который из х4 шины/линии  делает 4 независимых х1 линий, работающих одновременно (параллельно). Мост для того, чтобы он мог обрабатывать прерывания, а так-то можно их просто развести по сторонам, как пары из кабеля.

 

ИМХО все траблы не на хардварном уровне, а на уровне софта/подпрограмм. Представь, выделил ты всего 2 разряда для идентификатора карт и теперь, хоть усрись, но больше 4 карт подключить не сможешь. Закончатся ID и или зависнет BIOS от такой неопределенности или пропустит "через себя" в ОС только 4 карты.

 

P.S. Это все от скудности словарного запаса аглицкой мовы и трудности перевода понятия HUB - узел, концентратор.

 

Согласен.

Но что интересно, в некоторых случаях хаб работает на обычных материнках, на той же ASRock H81 PRO BTC с ним удается завести 7 карт, 5 в портах материнки, а 2 карты в хабе, а вот 8 карт уже не работает.

Изменено 13 дек 2016, 05:53 пользователем Komonec

[jonathan_davis]

а если в х16 (тот,что на плате) вставить х1 и к райзеру, он не сгорит?

 

материнка - h81 pro btc

[bason]

 

Блин, а вот самому посмотреть спецификацию разъема/чипсета слабо???

The desktop chipset that supports LGA 1366 is Intel's X58.

далее:

Intel_X58

Контроллер PCI Express 2.0 -- 2×PCIEx16 + PCIEx4

Хотя, вот еще:

X58 -- 36 PCI-E 2.0 

Что то на моей материнке на чипсете x58,

GIGABYTE GA-X58A-UD3R

, не завелось больше 4 видеокарт нового поколения.

 Речь о 1070, возможно решение в драйверах. Не сработало ни в линуксе, не в винде. Код 43.

Придется продавать.... (

Изменено 23 дек 2016, 08:47 пользователем bason

[adv]

вот и вопреки   заводится 8 видях

https://forum.bits.media/index.php?/topic/27407-mainer-na-vse-algoritmy-p1-230-na-gpu-chipakh/?p=580068

[synthetik]

Так сообщество майнеров пришло к выводу, что самое оптимальное это 4-6 карт на риг.

[adv]

@synthetik,

круто ....

[Enzo]

Сбылась мечта идиота 

 

12 карт: 4х 390 + 8х 480, всё это на 2011 сокете. Следующий этап - добавить ещё карт, сейчас не хватило места, некуда их ставить 

[synthetik]

 

 

2011 сокете

<_<

[yalexey]

@Enzo, вот с этими разветвителями? Или с чем?

[Enzo]

Да, было подключено 3 штуки, при этом два каскадом (один в другой).

[Serge Koval]

Материнка какая?