ГПУ майнинг под гипервизором?

[mikhan]

Балуюсь со своим сервачком hp microserver gen8. Установлена esxi, внутри виртуальная win10 с проброшенной картой gtx1070 (подключена к серверу через усб райзер и внешний АТХ БП). Майнит прекрасно, в зэке, эфире и т.п., потерь по сравнению с голым железом нет.

Никто не пробовал виртуализировать ферму с несколькими ГПУ, тем самым теоретически решается вопрос с зависаниями железа? Требуется лишь процессор, поддерживающий vt-d (у меня к примеру xeon e3-1230v2).

[volos4]

Балуюсь со своим сервачком hp microserver gen8. Установлена esxi, внутри виртуальная win10 с проброшенной картой gtx1070 (подключена к серверу через усб райзер и внешний АТХ БП). Майнит прекрасно, в зэке, эфире и т.п., потерь по сравнению с голым железом нет.

Никто не пробовал виртуализировать ферму с несколькими ГПУ, тем самым теоретически решается вопрос с зависаниями железа? Требуется лишь процессор, поддерживающий vt-d (у меня к примеру xeon e3-1230v2).

так у вас всё в руках

подключите вторую карту, запустите майнинг, сообщите нам результата

разгоните одну/обе карты до значений частот, которые гарантировано вывалятся в bsod. сообщите нам результат.

 

будем вам благодарны.

[mikhan]

@volos4, мне некуда втыкать вторую карту :) pcie разветвителя нет, а материнка вообще с одним слотом x16 (это микросервер от хапэ). На боевых фермах процы селероны, там не до виртуализации.

Но в целом пару раз висла виртуальная винда, заход в консоль esxi и ребут виртуалки помогает.

[Lexis77]

 

 

с одним слотом x16

а х1 х4 х8 тоже нет?

[mikhan]

нет, вот так она выглядит

[cleopoison]

нет, вот так она выглядит

https://forum.bits.media/uploads/downloaded/ef6e3fdfffe3cac1e9f1362ac4fed94c_26813f021d636a5709040adb55f7429e.jpg

https://forum.bits.media/index.php?/topic/27627-kommutator-pci-e-x1-to-3-port-x1-primenenie-rezultaty/ вам юто нужно наверное тогда

[mikhan]

это все понятно, я просто подкидываю идею

у самого все фермы на селеронах, проверить не на чем, нужны core i5 к примеру с vt-d

установка esxi в принципе дело недолгое, можно ее поставить на флэшку, а диск с уже рабочей виндой-линуксом от фермы подцепить к новой виртуальной машине напрямую как RDM диск (кто работал с виртуалками, тот в курсе что это)

затем нужно пробросить все видюшки к этой новой виртуалке, с амд все просто, с нвидией немного сложнее, но тоже можно

Edited 11 Mar 2017, 15:19 by mikhan

[iRybin]

Учитывая, что я ставил ESXi на совсем деревянные матери со встроенным камнем от AMD (это даже не селерон) - вот нам в теории и экономия на серверных матерях, IPKVM и так далее. Но, насколько я помню, там этот pass-through не работает на юзерском железе... вернее не на всём. Надо проверять.

 

PS: микросервер - не юзерское железо, хоть и кастрирован донельзя.

[Project]

 

 

там этот pass-through не работает на юзерском железе...

Как я понял топикстартера, нужна именно поддержка шаринга железа на уровне проца, а не просто поддержка виртуализации (VT-d у интеля). Только VT-x, видимо, как раз и мало.

[iRybin]

@Project, кабы чипсета, а не проца... Хотя в нынешних Ксеонах (да и прочих i) уже не очень понятно, где кончается проц и начинается чипсет... Просто у меня всегда было немного другое применение ESXi - и на тот момент, когда во времена LTC-DOGE я ковырял это палочкой - проще было сказать, что оно не работало для майнинга. Сейчас, видимо, ситуёвина изменилась.

Edited 11 Mar 2017, 19:05 by iRybin

[mikhan]

чипсет тоже должен уметь vt-d. К сожалению h81 похоже, что нет. B85 вроде да.

[UA3Dprinter]

А есть где-то результаты экспериментов с гипервизором?

Кто-то мерял потери? Есть они или нет? Если есть, то сколько?

[mikhan]

, в первом посте написал же, что в win10 внутри esxi потерь нет. Да и не должно быть, т.к. vt-d

[UA3Dprinter]

результаты теста подтверждаю

1060 - потерь нет

750ti - потери вроде есть, но могут быть в пределах погрешности

[iRybin]

сейчас пробую ESXi 6.5 на 11-слотовой матери с 11 картами 1070. При добавлении видяхи - виртуалка отказывается стартовать.. Кто на какой версии гипервизора пробовал? - Что-то меня от этого 6.5, который тока через вебморду админится, убертошнит после классических, управляемых через клиента...

[mikhan]

на 6.5, нужно привыкать к новому... и к вин10 в том числе :)

в логе ошибка какая при старте?

Edited 22 Jun 2017, 01:07 by mikhan

[iRybin]

В общем - пока достижение 2 видяхи на 1 виртуалку в 6.0... попытка второй виртуалки с 2 видяхами - валится, больше 2-х видях в 1 виртуалке - валится....

 

Сейчас принудительно в EFI поставлю 10-ку виртуальную - посмотрим, не поможет - значит тема с гипервизором и большим числом видях в виртуалку - не живая

Edited 22 Jun 2017, 18:48 by iRybin

[iRybin]

Вообще у кого какой опыт максимального числа видях, запущенных в виртуалке?

 

У меня пока 2*2...

Edited 22 Jun 2017, 19:03 by iRybin

[iRybin]

В общем - я, видимо, с ESXi сдаюсь. Свежий 6.5, в виртуалках - 7 и 10 EFI. 7-ая как-то майнит на 2 картах, на 3-х - BSOD. 10-ая не майнит вообще ни на одной - сразу дрова валятся...

[mak013]

ммм... а зачем использовать далеко не самый дешевый минисервер с неудобными для майнинга слотами под майнинг? да и эта. проблемы с зависанием железа обычно говорят, что вы сделали что-то не так

[Uliss]

 

 

ммм... а зачем

 

Вы почитайте посты @iRybin  в этой теме и в теме https://forum.bits.media/index.php?/topic/21130-8-kart-na-odnoi-ferme-kto-stavil/ и все станет ясно.

[UA3Dprinter]

Пока не удалось запустить более 4х видях на DL380 G7 ;(

[UA3Dprinter]

P.S. Кстати на 2016сервере тоже нормально майнит под гипервизоро. правда тест был на одной видяхе

[Xxx Xxx]

Балуюсь со своим сервачком hp microserver gen8. Установлена esxi, внутри виртуальная win10 с проброшенной картой gtx1070 (подключена к серверу через усб райзер и внешний АТХ БП). Майнит прекрасно, в зэке, эфире и т.п., потерь по сравнению с голым железом нет.

Никто не пробовал виртуализировать ферму с несколькими ГПУ, тем самым теоретически решается вопрос с зависаниями железа? Требуется лишь процессор, поддерживающий vt-d (у меня к примеру xeon e3-1230v2).

Каким образов вы пробросили в виртуалку из esxi 1070 перерыл весь интернет и ничего не выходит. Видео карта появляется, драйвера устанавливаются но кулера на видяхе не крутятся, видяха дико греется, майнеры не запускаются, родные утилиты к видяхе не встают, куда не определяется, рива тюнер не работает, афтербурнер тоже не находит видеокарту. Edited 13 Aug 2017, 17:13 by Xxx Xxx

[Xxx Xxx]

del

Edited 13 Aug 2017, 17:11 by Xxx Xxx