Jump to content
Sign in to follow this  
Rastishka

Удаленное обслуживание GPU ферм

Recommended Posts

Коллеги, здравствуйте!

 

Есть идея построения системы для удаленного обслуживания\управления GPU-ферм. Т.е. когда на локации никого нет, но есть возможность производить как можно больше действий с GPU-фермами.

Исходные условия - удаленное(несколько тыс. км) помещение с дешевой розеткой и отсутствием проводного интернета.

Необходимо развернуть фермы и как можно реже туда в последствии ездить :biggrin:.

 

Если с организацией доступа в интернет все более-менее понятно, то как сделать так, чтобы можно было "чинить" упавншие фермы удаленно?

Я рассматриваю установку IP-KVM (нашел такой https://www.avito.ru/moskva/tovary_dlya_kompyutera/ip_kvm_svitch_avocent_dsr2161_778157013), шнурки к нему стоят 65$ за 16шт. Получается ~12тыс на 16 ферм, что, в принципе, не дорого. 

Этот IP-KVM мы подключаем к компьютеру\ноутбуку, на который уже будем удаленно заходить через интернет. Это я делаю для того, чтобы можно было работать на низкой скорости 3G (почитал инструкции на IP-KVM, там требования к сети некислые, от 5мбит и выше) а так у меня через тимвьювер хоть с мобилки получится зайти и без хитрых VPN прокидываний.

9ea2885f5c6da7c427d6cd42a58b42fa.jpeg

Очень интересная функция у некоторых (ага, за 500+$) устройств - Virtual Media - можно подсовывать ферме по сети загрузочный диск и устанавливать ОС с него.

Но, как я понял, для этого нужно на каждую ферму цеплять по однопортовому IP-KVM за 500+уе (DLINK DKVM-IP1, adderlink iPEPS). Нам это решительно не подходит :biggrin:

Потом у меня возникла идея, как обойти это очень дешево - нужно купить по 2шт(в теории можно обойтись и 1й) флешки на 4-8гб для каждой фермы. На 1ю записать WinPE с доступом в интернет, 2-я будет для образов системы. Тогда в случае если "слетела винда" на ферме, мы можем загрузиться в WinPE, через нее уже записать на 2ю флешку нужный нам образ системы, и установить со 2й флешки его на ферму. Да, можно и проще но это я беру максимальный случай, когда удаленно можно передать iso и подготовить загрузочную флешку. Т.е. у нас появляется функционал Virtual Media за копейки. Причем, даже в случае "сдох хард" мы сможем установить винду на усб флешку и грузануться с нее.

 

Что еще? На каждой ферме стоит SONOFF выключатель, на общий роутер установлю GSM розетку. Навешаю IP камер, еще есть идея купить такую машинку с камерой, чтобы удаленно она ездила и заглядывала везде (только надо ей наколхозить питание как-то).

Wake on lan надо еще попробовать настроить, а то бывало, что компьютер не включается даже, если в БИОС настроено - включаться по появлению питания.

Не то чтобы у меня фермы постоянно ломаются, просто хочется максимально все предусмотреть.

 

Share this post


Link to post
Share on other sites

@Rastishka :biggrin::biggrin:

чёт все не то прям, все что нужно это

1) Линукс

2) Возможность удаленно щелкать розетку

3) Камеры что бы видеть что все впорядке

4) Ключ у человека на случай форс мажора.

Share this post


Link to post
Share on other sites
6 минут назад, Rastishka сказал:

Тогда в случае если "слетела винда" на ферме

Каким образом?  Майнить разными майнерами разную фигню?  Или когда слетает?

Просто у меня не слетает вообще, несколько лет, поэтому такие изощренные способы совсем не нужны.

 

2 минуты назад, alzov сказал:

3) Камеры что бы видеть что все впорядке

Камеры работают когда в них кто-то смотрит.  

Заходить  и смотреть раз в час или раз в сутки устанешь, а раз в неделю недостаточно.

 

Даже если они будут скриншоты слать, то пожар это дело на 5 минут.  Бесполезны абсолютно ИМХО.

К тому же запах они не передают, а это вот как раз самый ранний показатель.

Share this post


Link to post
Share on other sites
Только что, e46btc сказал:

Каким образом?  Майнить разными майнерами разную фигню?  Или когда слетает?

Просто у меня не слетает вообще, несколько лет, поэтому такие изощренные способы совсем не нужны.

 

У меня тоже не слетает, но вот бывало раз - зависло, перезагружаешь а она на этапе загрузки дает синий экран и так по кругу (это я уже потом выяснил, когда монитор подключил).

 

@alzov а что линукс, чем его отличие от винды в этом плане?

 

Это все пока мысли, задумался о переезде ферм. 2.8р\квтч в Чел. Обл. как-то впечатлили :biggrin: Квартирка там кстати 400тр стоит :biggrin: Ну это так..

 

По идее, щелканья розетки и щелканья розетки роутера (через GSM) в 99% достаточно. Ну еще робот с камерой, пусть ездит.

Share this post


Link to post
Share on other sites

@e46btc Не верно, я указал, удаленно щелкать розетку+камеры, зачем камеры? Вырубились фермы, заходишь удаленно на розетку и перед тем как щелкнуть смотришь камеру, если там у вентиляторов лопасти оторвало, чё то подплавилось\коротнуло, то это будет видно и это позволит не сжечь все нахер подав питание, а без камер наугад действовать? типа вырубило все, а пофиг включу.

@Rastishka Линукс на флешке, без установки, ниче не слетает. хотя у меня и ВИНДОВС годами работает и не слетает, что-то вы не то делаете!

Share this post


Link to post
Share on other sites
4 минуты назад, alzov сказал:

смотришь камеру, если там у вентиляторов лопасти оторвало, чё то подплавилось\коротнуло, то это будет видно

не факт, что это будет видно.

Share this post


Link to post
Share on other sites

@rldep Да ладно:? смотришь камеру, дергаешь розетку ,идет старт ,если пойдет дым\кз\лампочки не горят, тогда не стоит дальше пытаться, без камеры наугад это делать?

типа дернул розетку , смотришь в вебморду пока шары пойдут?

Share this post


Link to post
Share on other sites

@alzov , не. На таком расстоянии в любом случае нужен человек, который может посмотреть/передернуть, а хорошо б еще ферму разобрать-собрать

Share this post


Link to post
Share on other sites
1 минуту назад, rldep сказал:

а хорошо б еще ферму разобрать-собрать

..свой кошелек прописать :cool:

В том то и дело, что таких "прошаренных" скорее всего нет.

 

Сейчас пытаюсь вспомнить, какие проблемы с фермами были за прошедший год. Это в основном глючил вай-фай роутер, один раз было что ведомый АТХ блок что-то не хотел включаться. Я его вынул, он заработал. Ну, подвисания в расчет не берем - это редкость, и вылечить легко. Выход из строя вентиляторов карт - тут уж никак без обслуживания ручного.

В принципе, настроить сеть нормально, может с каким резервом, камеры, хорошая вентиляция, проводка, безопасность в плане железной двери и все будет норм.

Share this post


Link to post
Share on other sites

@rldep камера поможет исключить человека, а вылетать только в крайнем случае, когда реально железо наебнулось:smile:

@Rastishka я сам готовлюсь щас за 3к км от фермочек быть) готовлюсь:biggrin:

Share this post


Link to post
Share on other sites
9 минут назад, alzov сказал:

 

@Rastishka я сам готовлюсь щас за 3к км от фермочек быть) готовлюсь:biggrin:

500 метров от ферм проживаю  :biggrin::biggrin::biggrin::biggrin:

Share this post


Link to post
Share on other sites

@UserRu :biggrin:ну щас у меня одна вообще на балконе за стенкой0))) вышел в труселях на лоджию сделал чё надо назад зашел.

Share this post


Link to post
Share on other sites
3 минуты назад, alzov сказал:

@UserRu :biggrin:ну щас у меня одна вообще на балконе за стенкой0))) вышел в труселях на лоджию сделал чё надо назад зашел.

у мну 2 :biggrin:

Share this post


Link to post
Share on other sites
32 минуты назад, Rastishka сказал:

Выход из строя вентиляторов карт - тут уж никак без обслуживания ручного.

Можно заморочиться и поменять все подшипники скольжения на шарикоподшипники. Но это гудбай гарантия. 

Share this post


Link to post
Share on other sites

Не там вы видите проблемы. 16 штук примерно по 1.5 квт мощности это 24 квт общей мощности. Квартирка за 400 к в области наверняка со старой алюминиевой проводкой, рассчитана максимум на 5 квт. Перегрев проводки, короткое замыкание, пожар. И как вам помогут камеры ?. Плюс в области частенько отключают электричество, не факт что всё это будет всегда успешно стартовать.

Вот почитал форум, задумался а не начать ли мне сдавать свои помещения в аренду майнерам, смотрю популярная тема, электричество у меня тоже по 2,8 руб / кв ч

 

Share this post


Link to post
Share on other sites

В квартирке, главное, есть э\плита. А это дает возможность либо сразу в её розетку подключиться, либо пробросить новый кабель от щитка уже. Так что 7-8кВт можно выжать без проблем. Етественно, нужно всё делать с умом, а не просто пришел воткнул фермы в розетки на стене. 16шт это емкость IP KVM для управления фермами на BIOS уровне, так то их понятно меньше.

 

Насчет аренды - майнинг отелей полно, но цены не особо привлекательные. Да и гарантий там никаких. Причем риски двойные - либо владелец убежит с оборудованием, либо придут дяди из органов.

Share this post


Link to post
Share on other sites

Тут еще дело в том что 5 квт ограничение не столько физическое (кабеля), сколько юридическое, столько вроде выделяют на квартиру по договору с энергосбытом. Интересно есть ли у кого нибудь опыт регулярного превышения этого лимита (оплата счетов на большую сумму в месяц чем 5*24*30 квт*ч), как на это реагирует энергосбыт.

 

У меня частный дом, в нём ограничение на энергопотребление - 15 квт по договору, физически кабель легко выдержит гораздо больше . Когда я несколько лет назад стал регулярно потреблять около 10квт постоянно, ко мне пришли с проверкой , заставили поменять счётчик на новый.

 

Насчёт майнинг отелей, я вот думаю у них принципиально не правильный подход. Они концентрируют много ферм и мощностей  в одном месте, тем самым привлекают к себе внимание энергетиков и дядей из органов, и создают себе проблемы с теплоотведением.

 

Я бы сделал децентрализовано. Несколько помещений (гаражи при домах, мансарды, веранды), не сильно выделяющиеся энергопотреблением на общем фоне, плюс легче отвести лишнее тепло. Правда сложнее с контролем и обслуживанием.

 

Некоторой гарантией от убегания с оборудованием может послужить документ на право собственности на недвижимость (на физ лицо). Хотя абсолютных гарантий быть не может.

Share this post


Link to post
Share on other sites

 @Rastishka знакомая мелодия. Приведу аналогии, коллеги по одному из проектов задали вопрос: "можно ли защитить такую-то подстанцию с точки зрения информационной безопасности с применением все нужных СЗИ и СКЗИ с заданной по ТЗ надежностью системы в целом  без привлечения Homo sapiens" на что я им ответил, что несомненно можно, вот только расходы на это будут больше чем стоимость этой станции + всех данных на ней + вообще всего потенциального ущерба + расходов на ее уничтожение с помощью МБР "Тополь М".

 

Как итог мне ответили "ну да, да нахер она там вообще не нужна :)".

Edited by cleopoison

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...