Коммутатор PCI-e x1 to 3/4 port x1 (применение, результаты)

[bullettrain]

Вот, имеет место быть, по количеству карт - https://bitcointalk....848#msg17290848

Аж самому захотелось такую вытяжку. Интересно на сколько она шумна и эффективна.

 

А чувак походу из России, ну или откуда-то неподалеку. Вот бы его к нам сюда, пораспрашивать, начиная с того как он завел на балкон ~5кВт и заканчивая на чем поднял 12 карт и справляется ли вытяжка.

 

Кстати я чет не уверен что у него 2 материнки, а не 4. Зачем тогда подключено 4 HDMI кабеля?

 

P.s. позвал его сюда  :)

Изменено 26 дек 2016, 11:46 пользователем bullettrain

[synthetik]

 

 

Практическая польза, конечно, видится лишь при достижении 18-20 и более GPU на систему. Ибо цена мамки и процессора не детская.

У меня получилась польза при >24 картах.

[Enzo]

Создал запись в блоге https://forum.bits.media/index.php?/blog/303/entry-589-12-kart-na-odnoi-ferme-lichnyi-opyt/ 

У меня получилась польза при >24 картах.

Всё зависит от целей. Моя цель указана в записи блога, читайте :)

[tide88]

А как с rx ми быть? Они через pcie слот больше 70 ватт жрут, не сгорит сей девайс?) Если нет нужно доп питание качественное, имею в виду молексы с медным сечением, 1-2 мм, лучше 2 на верняк. был случай когда сгорело доп питание ( из четырех кабелей желтый, он несет найбольшую нагрузку).

 

Кстати я чет не уверен что у него 2 материнки, а не 4. Зачем тогда подключено 4 HDMI кабеля?

 

Часто падали риги, болванок hdmi у меня нет, по этому все контролирую без ремоут менеджера.

[Enzo]

По одному кабелю из БП на доп.питание через райзер - и ничего не сгорит. Если два райзера запитать на одном кабеле - рано или поздно ждите беды.

[tide88]

ах да, точно, забыл за райзеры вовсе... тогда все ок.

что то на подобии этого сделать можно:)

Изменено 26 дек 2016, 23:35 пользователем tide88

[Skiv_]

Походу мне или не везет, или у меня руки кривые.

 

1. Gigabyte GA-780T-D3L - у всех работает, самая дешевая мать для 7 карт и т.д. и т.п.

В биосе все отключал, ставил Gen1 (2,3) - 6 карт видит, с 7 мать сразу переклинивает и дело даже до загрузки ОС не доходит.

 

2. Gigabyte GA-B75-D3V - аналогично, 6 карт норм, 7 - глюк на уровне биос.

 

3. Какая-то на Ivy Bridge с 3 слотами. Тут хотя-бы дело доходит до ОС, но видит все равно только 4 карты. Или 3 в расширителе + 1 на плате, или 2+2. Впрочем, в биосе настраивать нечего, поэтому особо и не надеялся на результат.

 

Вопрос. Это я тупица, или с этими коммутаторами не так все просто?

 

p.s. пробовал две штуки разных, то есть коммутатор рабочий.

Изменено 16 янв 2017, 08:41 пользователем Skiv_

[bullettrain]

 

 

Вопрос. Это я тупица, или с этими коммутаторами не так все просто?

Не знаю как на этих МП, но у меня (а как позже оказалось и не только у меня) на H81 7 карта заработала после того как переткнул коммутатор в предпоследний слот (перед этим ставил в последний).

[Skiv_]

Не знаю как на этих МП, но у меня (а как позже оказалось и не только у меня) на H81 7 карта заработала после того как переткнул коммутатор в предпоследний слот (перед этим ставил в последний).

 

Слоты я все по порядку пробовал - результат одинаковый.

[Zetto]

Господа, тут задевали тему с зелёными, которых не видит коммутатор. Я понимаю что красные цепляются в большинстве случаев с полпинка, но вот что с 1060/1070? Кто успешно заводил? Хочу добрать ригов на 1060, но вот по 5-6 карт на платформу это, ИМХО, избыточный перерасход ЭЭ. Хочу 7-8 карт с помощью 970a-ds3p/h81 pro btc + коммутатор, поделитесь опытом у кого есть.

[Uliss]

Я понимаю что красные цепляются в большинстве случаев с полпинка, но вот что с 1060/1070? Кто успешно заводил?

На второй день меня ждали следующие неприятные сюрпризы: через PCI-e разветвитель не определялась ни одна карта: ни 1070, ни 970, ни 780ti. Даже если оставить в системе одну ВК, просто черный экран, система включается со встройки. Попробовал второй разветвитель, картина аналогичная.

Это было написано еще в те времена, когда GTX750Ti была в ТОПе и активно приобщалась к майнингу.

[Enzo]

Кто-нибудь использует каскадное подключение расширителей? Есть подозрение, что при наличии хотя бы одной ступеньки каскада, система работает не стабильно и могут отваливаться карты.

[Zetto]

 

Я понимаю что красные цепляются в большинстве случаев с полпинка, но вот что с 1060/1070? Кто успешно заводил?

На второй день меня ждали следующие неприятные сюрпризы: через PCI-e разветвитель не определялась ни одна карта: ни 1070, ни 970, ни 780ti. Даже если оставить в системе одну ВК, просто черный экран, система включается со встройки. Попробовал второй разветвитель, картина аналогичная.

Это было написано еще в те времена, когда GTX750Ti была в ТОПе и активно приобщалась к майнингу.

https://forum.bits.media/uploads/downloaded/3930bb383875_26d475d73f969edc8ac80daf6c6a3f15.jpg

 

Всё прочёл, и не раз. Сообщения о том что 750ти и старше не работают с хабом тоже. Я же спросил насчёт успешного запуска! Может есть такой опыт у кого.

Изменено 17 янв 2017, 14:50 пользователем Uliss

[iRybin]

Материнка Supermicro X9SRL-F, сокет 2011, 7 слотов PCI-E.

 

Сам как раз такую или её старшего собрата смотрел :) - отличный опыт. Одно не понял - на родных 7 слотах завелись 7 карт или нет в итоге? И не было ли эксперимента с nVidia?

 

 

Ибо цена мамки и процессора не детская.

 

процы на eBay есть инженерные за вполне адекватные деньги, а матери такие работают по 6+ лет. С учётом встроенного IPKVM и резетилки (IPMI зовётся) - однозначно того стоит! Можно на лету менять и переставлять ОС, включать и перезагружать риг. Это стоит своих денег - особенно, если ты - в отпуске, за окном - мегапрофит, а ферме нужен ребут или переход с Win-Lin....

 

 

Кроме научного интереса практической пользы нет ИМХО. Гораздо удобнее автоматизировать управление ригами и собирать стандартные риги по 6-7 карт. Так как при случайной скоропостижной кончине любого из компонентов "мегарига" - теряется (за счет простоя до устаранения неисправности) сразу довольно ощутимый хешрейт.

 

Как показывает практика - умирают только харды/флешки... ну и блоки питания... остальное живёт годами, особенно серверное. Вот есть у меня блок на 2900 ватт - вот это для него решение. Собрать в 5U ящик и при выходе очередного нового майнера - мне надо поменять 1 риг, а не 3. Это хорошо и удобно. Ну и как писал выше - на такую мать можно повесить 2 HDD с зеркальным содержимым - один сдохнет - удалённо переходим на второй и работаем до визита в майнерную. А вообще они ещё и память умеют зеркалировать (ставишь 16 гигов, видится как 8 - при этом половина может помереть без отказа системы).

 

 

Господа, тут задевали тему с зелёными, которых не видит коммутатор. Я понимаю что красные цепляются в большинстве случаев с полпинка, но вот что с 1060/1070? Кто успешно заводил?

 

тоже интересно

Изменено 17 янв 2017, 23:37 пользователем iRybin

[Uliss]

Кто-нибудь использует каскадное подключение расширителей? Есть подозрение, что при наличии хотя бы одной ступеньки каскада, система работает не стабильно и могут отваливаться карты.

 

Пробовали каскадировать эти коммутаторы, 2 шт работали нормально - подробная информация затеряна где то  в теме Железо для майнинга, собственно после этого и была создана отдельная тема.

[Uliss]

 

 

Так как при случайной скоропостижной кончине любого из компонентов "мегарига" - теряется (за счет простоя до устаранения неисправности) сразу довольно ощутимый хешрейт.

e46btc, материнка (платформа) на ферме - самый надежный элемент, если экспл. нормы не превышать, есс-сно.

Как показывает практика - умирают только харды/флешки... ну и блоки питания... остальное живёт годами, особенно серверное. Вот есть у меня блок на 2900 ватт - вот это для него решение. Собрать в 5U ящик и при выходе очередного нового майнера - мне надо поменять 1 риг, а не 3. Это хорошо и удобно. Ну и как писал выше - на такую мать можно повесить 2 HDD с зеркальным содержимым - один сдохнет - удалённо переходим на второй и работаем до визита в майнерную. А вообще они ещё и память умеют зеркалировать (ставишь 16 гигов, видится как 8 - при этом половина может помереть без отказа системы).

 

RAID-1 и ничего не нужно переключать - само отработает. С памятью это просто заморочка ее зеркалить и резервировать, фиг когда вылетит.

БП так же можно включать по "серверной" схеме "горячей замены" - получится майнер с резервированным HDD и БП при увеличении цены вдвое на такое решение.

Как показывает практический опыт, самое слабое в любой ферме это провода и разъемы, но тоже все решаемо, особенно, если не обращать внимания на "гарантийность" видеокарт или использовать карты с изначально качественным подключением питания.

[iRybin]

 

 

RAID-1 и ничего не нужно переключать - само отработает.

 

в общем-то да, туплю :)

 

 

 

С памятью это просто заморочка ее зеркалить и резервировать, фиг когда вылетит.

 

не скажи... были у нас сервера HP ProLiant на AMD камнях - памят пачками возили в гарантию...  с фермы тоже сдавал планку в гарантию - увы, память мрёт даже брендовая

 

 

 

БП так же можно включать по "серверной" схеме "горячей замены" - получится майнер с резервированным HDD и БП при увеличении цены вдвое на такое решение.

 

ну как-бы все "серверные" БП, что тут балуемся - как раз хотсвапные. Вот только distribution board убьёмся искать, а готовый ящик+бп на такие мощночти стоит не просто неадекватно - его 1) хрен купишь, 2) хрен привезёшь, 3) там надо вырезать под наши дела 90%....

 

 

 

самое слабое в любой ферме это провода и разъемы

 

привет, говноблоки, это мы :) - на самой старенькой моей ферме ни одной проблемы с питанием, а в остальном

 

 

 

если не обращать внимания на "гарантийность" видеокарт или использовать карты с изначально качественным подключением питания.

 

именно так

[EternityTula]

Кто-нибудь использует каскадное подключение расширителей? Есть подозрение, что при наличии хотя бы одной ступеньки каскада, система работает не стабильно и могут отваливаться карты.

 

есть подопытный для старья)

 

GIgabyte GA-Z97P-D3

 

Собрал ради прикола такую городушку:

 

  материнка PCIe 1x

   |

  1--2--3 (свитч 1)

   |

  1---------2----------3 (2)

  |             |              

 /|\           /|\          

1 2 3(3) 1 2 3 (4)      

|   |   |     |   |   

В В В    В В 

 

5970 (двухголовая на монере), 380,270,270 (эти на зеке), GTS450(тож на монере)

Копает стабильно месяца 2 уже.

Интересно, что зеленый 450-й работает через свитч, только толку нету от неё) а 1060 ни в какую

 

Ещё заметил что контакт фиговый в этих разъёмах - проклеивал термопистолетом с двух сторон разъема воткнутые "платы" в гарантированно рабочем положении - на горячую)

Изменено 24 янв 2017, 01:01 пользователем EternityTula

[Uliss]

Собрал ради прикола такую городушку:

 

Двойное каскадирование (1->9) проверяли еще раньше, все работало.

Теперь получено практическое подтверждение тройного каскадирования (1->27) коммутаторов.

 

Ещё заметил что контакт фиговый в этих разъёмах - проклеивал термопистолетом с двух сторон разъема воткнутые "платы" в гарантированно рабочем положении - на горячую)

 

Сами платы с разъемом х1 PCI-e достаточно высокие, да еще и кабель расположен сверху - перевешивает и перекашивает.

Им нужна сверху П-образная крепежная рамка (можно вырезать из старого корпуса) или вертикальные шпильки с гайками для фиксации плат за планку.

 

[LiteMiner)]

подключил в мамку асус P8B75-V, в коммутатор вставил две 470 и одну 480, есесина через райзеры 3.0, все работает, все гуд

[Uliss]

подключил в мамку асус P8B75-V, в коммутатор вставил две 470 и одну 480, есесина через райзеры 3.0, все работает, все гуд

 

А в чем прикол?

Ты в материнку с 2 слотами х16 и 2 слотами х1 подключил 3 карты через этот коммутатор на УСБ райзерах.

Вопрос - нафига там коммутатор?

[LiteMiner)]

А в чем прикол?

Ты в материнку с 2 слотами х16 и 2 слотами х1 подключил 3 карты через этот коммутатор на УСБ райзерах.

Вопрос - нафига там коммутатор?

ты не понял, тут писали что мол 470-480 серия палит мамки, я вставил у меня все ок, а вообще на этой мамке с коммутатором получается 6 карт, а было 4. но опять же это все дабы развеять миф, о том что эти коммутаторы палят мамки...

[Uliss]

опять же это все дабы развеять миф, о том что эти коммутаторы палят мамки...

 

А ничего, что у тебя питание карты идет через отвод райзера, а не от материнки?

Собственно, основное назначение райзера - разгрузить питание материнской платы (1 провод 12в в 20пин или 2 провода в 24пин) при использовании нескольких видеокарт.

 

P.S. @LiteMiner), ставить минус вместо аргументированного возражения - моветон...

[bullettrain]

Собственно, основное назначение райзера - разгрузить питание материнской платы

А я думаю что основное назначение все же из названия идет, а остальное это уже вторично   

Изменено 28 янв 2017, 11:28 пользователем bullettrain

[Uliss]

@bullettrain, я применительно к майнингу.

Ну и вынос карт с материнки и размещение большего количества карт - само-собой.