8+ видеокарт на одной ферме

[akaRev]

Я буду для эксперимента http://www.supermicro.com/products/motherboard/xeon/c600/x10srl-f.cfm брать...

 

Расскажешь как прошло)))  Вообще бы уже пора тему отдельную пилить по мамкам "микровским" : сколько и чего на каждой из них завелось и какие косяки случались...  Просто есть отличные варианты по цене мать/проц на том же ибэе или али....

[iRybin]

 

 

Расскажешь как прошло)))

 

да бес проблем ) - главное собрать, планам уже скоро год, да то понос, то золотуха (с)

[Serge Koval]

Вот что нашел:

http://www.supermicro.com/support/faqs/faq.cfm?faq=14133

 

 

Question
How can I install an external graphics card ATI RADEON X700 on the motherboard X8DTL-iF?
I installed the video card in slot6 but it did not work.
Disconnected the jumper JPG1 embedded video, placing it in
position 2-3. After that came from the beeper beeps.
Radeon-700 was not working. What am I doing wrong?

Answer
The ATI RADEON X700 card is PCI-e x 16 graphic card.
Your motherboard X8DTL-IF does not have PCI-e x16 slot,
it only has PCI-e x8 in x16 slot as indicated in product

specifications.

 

 

Выходит, надо поменять режим шины, что-ли. Найти бы только как.

 

Вот есть БИОС для этой материнки.

[akaRev]

та не, то пофиг...

 

мать карты у него видит, а вот определяются как-то они криво...

может косяк матери какой я хз...

 

я уже начал склоняться к версии Uliss - что драйвера чипсета кривые...

хз, чё ещё там может быть - эт самому пробовать нужно, но у меня именно такой мамки нет...

[jcrypto]

Я не совсем понимаю : вы ради прикола собираете фермы на базе материнок от Supermicro ? Да они серверные, но жрут много, надо питать 2 проца. Если просто ради эксперимента то понятно. Я вот ищу материнки с Intel Atom-oм на борту но чтоб имели много слотов PCI-E, но не нахожу такое.

[Bolearis]

Я не совсем понимаю : вы ради прикола собираете фермы на базе материнок от Supermicro ? Да они серверные, но жрут много, надо питать 2 проца. Если просто ради эксперимента то понятно. Я вот ищу материнки с Intel Atom-oм на борту но чтоб имели много слотов PCI-E, но не нахожу такое.

1. Там указана 1-процевая плата.

2. Атом - не вариант.

[akaRev]

Я не совсем понимаю : вы ради прикола собираете фермы на базе материнок от Supermicro ?

 

вот честно, если бы данная мать позволила запустить сток карт, сколько рассчитывал автор - я бы не задумываясь взял ее... 

экономия на блоках, матерях, винтах, процах.  а по поводу жора процов - так поставьте энергоэффективную версию - благо такой хрени на али валом...

 

да и серверная мать гораздо больше возможностей даёт, та же ipmi к примеру... 

Изменено 25 янв 2017, 19:47 пользователем akaRev

[jcrypto]

akaRev, Зачем ограничивать себя 8, вот 11 PCI-E : https://www.supermicro.com/products/motherboard/Xeon/C600/X10DRX.cfm

если поставить centos 7 то все 11 nvidia карт видны, про AMD не знаю. Если вставит 1 CPU, будут видны только первые 5 слотов PCI-E, второй CPU раскрывает все.

Изменено 25 янв 2017, 21:20 пользователем jcrypto

[yalexey]

Всего каких-то $650 за мамку! Экономия уже огромная. :D

А сколько ещё на процах и ECC памяти сэкономится! И не сосчитать!

Изменено 25 янв 2017, 22:27 пользователем yalexey

[Komonec]

Пока еще не успел попробовать.

По поводу драйверов чипсета, скачал с сайта, при установке на 10ку, установщик сообщает, что уже установлены более новые драйвера.

 

По поводу смысла всего этого:

На ибеи можно купить двусокетную мать на 1366 с 7 портами pci-e за $40, процы на али стоят по 500р. При условии, что будут работать хабы и мать увидет больше 10 карт (интересно вообще запустить штук 20). Получается неплохая экономия.

[iRybin]

 

 

Всего каких-то $650 за мамку! Экономия уже огромная. :D

 

эти матери практически вечные, кончится майн - сервер соберу :)

 

 

 

А сколько ещё на процах и ECC памяти сэкономится! И не сосчитать!

 

На ебее лежат процы по 10к рублей за пару. Не совсем официальные - но не важно. И они тоже бессмертные. Память по цене не сильно отличается.

 

Собирающим первые фермы и окупающим не понять, тем, кто 3+ года в теме, да если локаций много и ферм тоже - вполне.

[iRybin]

 

 

akaRev, Зачем ограничивать себя 8, вот 11 PCI-E : https://www.supermic...C600/X10DRX.cfm если поставить centos 7 то все 11 nvidia карт видны, про AMD не знаю. Если вставит 1 CPU, будут видны только первые 5 слотов PCI-E, второй CPU раскрывает все.

 

прув есть или это теория? - просто рисковать на таком обвесе уже душит земноводное

[subw]

На ибеи можно купить двусокетную мать на 1366 с 7 портами pci-e за $40

Линк в студию

[Komonec]

Линк в студию

 

http://www.ebay.com/itm/Xyratex-0944037-02-HS-1235T-ATX-Dual-Socket-1366-Server-System-Motherboard-/391682118417?hash=item5b3212d311:g:cg0AAOSw8vZXM6j4

 

Я одну для тестов купил, с ней тоже не работает.

 

 

PS по ней нет никакой документации и ПО.

Изменено 26 янв 2017, 16:55 пользователем Komonec

[Mikhailych]

@Komonec, заняты все IRQ, поэтому не работает

[lera_miner]

 

iRybin, могу раскрыть маленький секрет : как насчет скомбинировать сервер + ферма ? Ферма процессор и память не кушает, серверное ПО на яве, яве видео карточки не нужны... идею наверно словили не хочу всё о разжевывать

 

[Enzo]

на 1366 сокете всю жизнь было по 3 планки памяти на проц, странно что оно вообще загрузилось... У меня 2 сервера и 1 десктоп на этих ксеонах.

Это каналы памяти, но никак не минимальное количество, успешно работает и на одной планке.

[Enzo]

Полдня экспериментировал с настройками BIOS, карты подключал на прямую и через хабы - не заработало.

И к тому же майнер зависает + на скриншоте смотрите сколько юнитов у карты определяется.

У меня бывала похожая ситуация, но:

1. Все карты хотя бы один раз проскакивали в логе с хешрейтом, потом просто пропадали.

2. Майнер не вис, продолжал работать на выживших.

 

В биосе я сразу отключил всё, что не нужно или неизвестное. Касательно gen для слотов, у меня был выбор 1-2-3, на 1 и 3 карты работали, но хешрейт был очень низким, на gen2 получилась нормальная работа.

 

У Вас в биосе там где список слотов указан с х8, там просто вкл/выкл в значениях или ещё что-то есть? Выключать там пробовали?

 

Какая ОС, какие/откуда дрова? У меня на убунту 16.04 дрова из репы работали не стабильно, приходилось ставить с оффсайта.

 

В сислоге есть что-то после запуска майнера? В dmesg есть ошибки при старте?

[iRybin]

 

 

Это каналы памяти, но никак не минимальное количество, успешно работает и на одной планке.

 

Может быть - просто честно никогда не проверял... в голову даже не приходило.

[Enzo]

Я буду для эксперимента http://www.supermicro.com/products/motherboard/xeon/c600/x10srl-f.cfm брать :)

Этот сокет жутко дорогой, придётся раскошелиться на пустом месте, а результат будет не лучше первого 2011 сокета, который вполовину дешевле :)

[iRybin]

 

 

Этот сокет жутко дорогой, придётся раскошелиться на пустом месте, а результат будет не лучше первого 2011 сокета, который вполовину дешевле :)

 

В одну цену у нас - что камни (которые вообще будут с ебея по 100 долларов), что мамки. Зато ценность на вторичке точно выше.

 

Для начала решил взять мамку на 4 карты с IPMI и сделать вообще в 2U корпус. Так что уберэксперимент пока откладывается - банально не смогу разложиться до лета нигде...

[e46btc]

Зато ценность на вторичке точно выше.

Даже если выше, то ее все равно через 2-3 года у вас ее никто не купит. Так и будет лежать, а вы будете знать, что ценность выше :) Кому нужно для реальных серверных задач - купит новое и современное железо (на момент 2019-2020 года). А кому нужен "хоть какой-то сервер", те купят самое дешевое железо, которое найдут.

[Enzo]

Ну с ибея да, там всякое можно откопать. Я привык всё локально брать, у нас на v3 сокет новые процы от 300уя стартуют, а б/у такие не попадались.  

 

А смысл возиться с 4 картами, да ещё и в 2U корпусе? За те же деньги больше головняка :) А карты в 2U ведь не влезут вертикально.

[iRybin]

А смысл возиться с 4 картами, да ещё и в 2U корпусе? За те же деньги больше головняка :) А карты в 2U ведь не влезут вертикально.

 

Деньги раза в полтора меньшие - самое дорогое это мать (14к - http://www.regard.ru/catalog/tovar207171.htm ), остальное - обычный сель и мозгов на 8 гигов (4 как-то ну совсем не серьёзно). Карты - "огрызки" Гиги 1070 - плашмя естественно. 80-ками вентилями продуются отлично. БП до киловатта. Но тут это немного оффтоп, потому не буду раздувать. Коропуса БУ по цене металла (500 рублей, а то и вовсе старые знакомые поделятся). Обвес стоит меньше, чем +1 карта. А по опыту - риги на 4 карты самые беспроблемные оказываются. Плюс компактность размещения (есть вариант, что будет висеть вертикально вдоль бетонной стены в узком подвале).

 

Даже если выше, то ее все равно через 2-3 года у вас ее никто не купит. Так и будет лежать, а вы будете знать, что ценность выше :) Кому нужно для реальных серверных задач - купит новое и современное железо (на момент 2019-2020 года). А кому нужен "хоть какой-то сервер", те купят самое дешевое железо, которое найдут.

 

В десктоп свой наконец поменяю ту, что ещё на 1366 Сокете с первого апгрейда сервака :) - а оглядываясь в 2013-ый - скорее всего она будет работать на ферме "пока не сдохнет".

 

 

iRybin, могу раскрыть маленький секрет : как насчет скомбинировать сервер + ферма ? Ферма процессор и память не кушает, серверное ПО на яве, яве видео карточки не нужны... идею наверно словили не хочу всё о разжевывать

 

в 1U корпуса не засунуть ничего, что стоит адекватные деньги и может майнить...

Изменено 10 фев 2017, 20:26 пользователем iRybin

[Enzo]

плашмя естественно

Оу, мсье знает толк в извращениях))) Ну что ж, каждому своё :)