Удаленное обслуживание GPU ферм

[Rastishka]

Коллеги, здравствуйте!

 

Есть идея построения системы для удаленного обслуживания\управления GPU-ферм. Т.е. когда на локации никого нет, но есть возможность производить как можно больше действий с GPU-фермами.

Исходные условия - удаленное(несколько тыс. км) помещение с дешевой розеткой и отсутствием проводного интернета.

Необходимо развернуть фермы и как можно реже туда в последствии ездить .

 

Если с организацией доступа в интернет все более-менее понятно, то как сделать так, чтобы можно было "чинить" упавншие фермы удаленно?

Я рассматриваю установку IP-KVM (нашел такой https://www.avito.ru/moskva/tovary_dlya_kompyutera/ip_kvm_svitch_avocent_dsr2161_778157013), шнурки к нему стоят 65$ за 16шт. Получается ~12тыс на 16 ферм, что, в принципе, не дорого. 

Этот IP-KVM мы подключаем к компьютеру\ноутбуку, на который уже будем удаленно заходить через интернет. Это я делаю для того, чтобы можно было работать на низкой скорости 3G (почитал инструкции на IP-KVM, там требования к сети некислые, от 5мбит и выше) а так у меня через тимвьювер хоть с мобилки получится зайти и без хитрых VPN прокидываний.

Очень интересная функция у некоторых (ага, за 500+$) устройств - Virtual Media - можно подсовывать ферме по сети загрузочный диск и устанавливать ОС с него.

Но, как я понял, для этого нужно на каждую ферму цеплять по однопортовому IP-KVM за 500+уе (DLINK DKVM-IP1, adderlink iPEPS). Нам это решительно не подходит 

Потом у меня возникла идея, как обойти это очень дешево - нужно купить по 2шт(в теории можно обойтись и 1й) флешки на 4-8гб для каждой фермы. На 1ю записать WinPE с доступом в интернет, 2-я будет для образов системы. Тогда в случае если "слетела винда" на ферме, мы можем загрузиться в WinPE, через нее уже записать на 2ю флешку нужный нам образ системы, и установить со 2й флешки его на ферму. Да, можно и проще но это я беру максимальный случай, когда удаленно можно передать iso и подготовить загрузочную флешку. Т.е. у нас появляется функционал Virtual Media за копейки. Причем, даже в случае "сдох хард" мы сможем установить винду на усб флешку и грузануться с нее.

 

Что еще? На каждой ферме стоит SONOFF выключатель, на общий роутер установлю GSM розетку. Навешаю IP камер, еще есть идея купить такую машинку с камерой, чтобы удаленно она ездила и заглядывала везде (только надо ей наколхозить питание как-то).

Wake on lan надо еще попробовать настроить, а то бывало, что компьютер не включается даже, если в БИОС настроено - включаться по появлению питания.

Не то чтобы у меня фермы постоянно ломаются, просто хочется максимально все предусмотреть.

 

[alzov]

@Rastishka 

чёт все не то прям, все что нужно это

1) Линукс

2) Возможность удаленно щелкать розетку

3) Камеры что бы видеть что все впорядке

4) Ключ у человека на случай форс мажора.

[e46btc]

6 минут назад, Rastishka сказал:

Тогда в случае если "слетела винда" на ферме

Каким образом?  Майнить разными майнерами разную фигню?  Или когда слетает?

Просто у меня не слетает вообще, несколько лет, поэтому такие изощренные способы совсем не нужны.

 

2 минуты назад, alzov сказал:

3) Камеры что бы видеть что все впорядке

Камеры работают когда в них кто-то смотрит.  

Заходить  и смотреть раз в час или раз в сутки устанешь, а раз в неделю недостаточно.

 

Даже если они будут скриншоты слать, то пожар это дело на 5 минут.  Бесполезны абсолютно ИМХО.

К тому же запах они не передают, а это вот как раз самый ранний показатель.

[Rastishka]

Только что, e46btc сказал:

Каким образом?  Майнить разными майнерами разную фигню?  Или когда слетает?

Просто у меня не слетает вообще, несколько лет, поэтому такие изощренные способы совсем не нужны.

 

У меня тоже не слетает, но вот бывало раз - зависло, перезагружаешь а она на этапе загрузки дает синий экран и так по кругу (это я уже потом выяснил, когда монитор подключил).

 

@alzov а что линукс, чем его отличие от винды в этом плане?

 

Это все пока мысли, задумался о переезде ферм. 2.8р\квтч в Чел. Обл. как-то впечатлили  Квартирка там кстати 400тр стоит  Ну это так..

 

По идее, щелканья розетки и щелканья розетки роутера (через GSM) в 99% достаточно. Ну еще робот с камерой, пусть ездит.

[alzov]

@e46btc Не верно, я указал, удаленно щелкать розетку+камеры, зачем камеры? Вырубились фермы, заходишь удаленно на розетку и перед тем как щелкнуть смотришь камеру, если там у вентиляторов лопасти оторвало, чё то подплавилось\коротнуло, то это будет видно и это позволит не сжечь все нахер подав питание, а без камер наугад действовать? типа вырубило все, а пофиг включу.

@Rastishka Линукс на флешке, без установки, ниче не слетает. хотя у меня и ВИНДОВС годами работает и не слетает, что-то вы не то делаете!

[rldep]

4 минуты назад, alzov сказал:

смотришь камеру, если там у вентиляторов лопасти оторвало, чё то подплавилось\коротнуло, то это будет видно

не факт, что это будет видно.

[alzov]

@rldep Да ладно:? смотришь камеру, дергаешь розетку ,идет старт ,если пойдет дым\кз\лампочки не горят, тогда не стоит дальше пытаться, без камеры наугад это делать?

типа дернул розетку , смотришь в вебморду пока шары пойдут?

[rldep]

@alzov , не. На таком расстоянии в любом случае нужен человек, который может посмотреть/передернуть, а хорошо б еще ферму разобрать-собрать

[Rastishka]

1 минуту назад, rldep сказал:

а хорошо б еще ферму разобрать-собрать

..свой кошелек прописать 

В том то и дело, что таких "прошаренных" скорее всего нет.

 

Сейчас пытаюсь вспомнить, какие проблемы с фермами были за прошедший год. Это в основном глючил вай-фай роутер, один раз было что ведомый АТХ блок что-то не хотел включаться. Я его вынул, он заработал. Ну, подвисания в расчет не берем - это редкость, и вылечить легко. Выход из строя вентиляторов карт - тут уж никак без обслуживания ручного.

В принципе, настроить сеть нормально, может с каким резервом, камеры, хорошая вентиляция, проводка, безопасность в плане железной двери и все будет норм.

[alzov]

@rldep камера поможет исключить человека, а вылетать только в крайнем случае, когда реально железо наебнулось

@Rastishka я сам готовлюсь щас за 3к км от фермочек быть) готовлюсь

[UserRu]

9 минут назад, alzov сказал:

 

@Rastishka я сам готовлюсь щас за 3к км от фермочек быть) готовлюсь

500 метров от ферм проживаю 

[alzov]

@UserRu ну щас у меня одна вообще на балконе за стенкой0))) вышел в труселях на лоджию сделал чё надо назад зашел.

[UserRu]

3 минуты назад, alzov сказал:

@UserRu ну щас у меня одна вообще на балконе за стенкой0))) вышел в труселях на лоджию сделал чё надо назад зашел.

у мну 2 

[soulmnn]

32 минуты назад, Rastishka сказал:

Выход из строя вентиляторов карт - тут уж никак без обслуживания ручного.

Можно заморочиться и поменять все подшипники скольжения на шарикоподшипники. Но это гудбай гарантия. 

[Neofit]

Не там вы видите проблемы. 16 штук примерно по 1.5 квт мощности это 24 квт общей мощности. Квартирка за 400 к в области наверняка со старой алюминиевой проводкой, рассчитана максимум на 5 квт. Перегрев проводки, короткое замыкание, пожар. И как вам помогут камеры ?. Плюс в области частенько отключают электричество, не факт что всё это будет всегда успешно стартовать.

Вот почитал форум, задумался а не начать ли мне сдавать свои помещения в аренду майнерам, смотрю популярная тема, электричество у меня тоже по 2,8 руб / кв ч

 

[Rastishka]

В квартирке, главное, есть э\плита. А это дает возможность либо сразу в её розетку подключиться, либо пробросить новый кабель от щитка уже. Так что 7-8кВт можно выжать без проблем. Етественно, нужно всё делать с умом, а не просто пришел воткнул фермы в розетки на стене. 16шт это емкость IP KVM для управления фермами на BIOS уровне, так то их понятно меньше.

 

Насчет аренды - майнинг отелей полно, но цены не особо привлекательные. Да и гарантий там никаких. Причем риски двойные - либо владелец убежит с оборудованием, либо придут дяди из органов.

[Neofit]

Тут еще дело в том что 5 квт ограничение не столько физическое (кабеля), сколько юридическое, столько вроде выделяют на квартиру по договору с энергосбытом. Интересно есть ли у кого нибудь опыт регулярного превышения этого лимита (оплата счетов на большую сумму в месяц чем 5*24*30 квт*ч), как на это реагирует энергосбыт.

 

У меня частный дом, в нём ограничение на энергопотребление - 15 квт по договору, физически кабель легко выдержит гораздо больше . Когда я несколько лет назад стал регулярно потреблять около 10квт постоянно, ко мне пришли с проверкой , заставили поменять счётчик на новый.

 

Насчёт майнинг отелей, я вот думаю у них принципиально не правильный подход. Они концентрируют много ферм и мощностей  в одном месте, тем самым привлекают к себе внимание энергетиков и дядей из органов, и создают себе проблемы с теплоотведением.

 

Я бы сделал децентрализовано. Несколько помещений (гаражи при домах, мансарды, веранды), не сильно выделяющиеся энергопотреблением на общем фоне, плюс легче отвести лишнее тепло. Правда сложнее с контролем и обслуживанием.

 

Некоторой гарантией от убегания с оборудованием может послужить документ на право собственности на недвижимость (на физ лицо). Хотя абсолютных гарантий быть не может.

[cleopoison]

 @Rastishka знакомая мелодия. Приведу аналогии, коллеги по одному из проектов задали вопрос: "можно ли защитить такую-то подстанцию с точки зрения информационной безопасности с применением все нужных СЗИ и СКЗИ с заданной по ТЗ надежностью системы в целом  без привлечения Homo sapiens" на что я им ответил, что несомненно можно, вот только расходы на это будут больше чем стоимость этой станции + всех данных на ней + вообще всего потенциального ущерба + расходов на ее уничтожение с помощью МБР "Тополь М".

 

Как итог мне ответили "ну да, да нахер она там вообще не нужна :)".

Edited 26 Apr 2018, 11:04 by cleopoison