ODFarmControl - мониторинг и управление фермой

[xajdu]

Программа для мониторинга состояния фермы (количество/загрузка/температура видеокарт, процессора, памяти и жесткого диска) с настраиваемой реакцией программы на изменение значений датчиков.
 
Можно задавать реакцию на изменение:

• количества видеокарт
• средней загрузки видеокарт/процессора/памяти/диска
• загрузки каждого элемента оборудования в отдельности
• температуры любой из карт/процессора/диска
• подключения к интернету
• падение заданной программы (например, майнера)
• и.т.д

Можно задать реакцию на изменение любого из доступных датчиков. На о.с. Windows датчики забираются из программы OpenHardwareMonitor, на о.с. Linux доступны загрузка/температура процессора, загрузка/температура/частота видеокарт, загрузка памяти и диска.
 
Срабатывание может происходить если значение датчика меньше, больше, в диапазоне, вне заданного диапазона.
Значение вычисляется как плавающее среднее - можно регулировать сглаживание скачков и задержку перед срабатыванием.
Срабатывание может быть однократным, повторяющимся, с минимальным заданным промежутком, пороговое и.т.д.
 
Реакция:

• уведомление в программе и в области уведомлений
• перезагрузка фермы (средствами ОС)
• выключение фермы (средствами ОС)
• перезагрузка фермы через сторожевой таймер (программа работает со сторожевыми таймерами USB Watchdog Lite/Pro2 от Открытых разработок - https://shop.open-dev.ru/collection/storozhevye-taymery)
• перезапуск приложения
• выполнение пользовательского скрипта

заложена возможность отправки приложением уведомлений в телеграм, удаленного управления приложением и фермой через телеграм (перезапуск приложения, фермы, выполнение скрипта), отправка статистики о работе фермы (значения датчиков)  в телеграм.
 

ODFarmControl - это открытый проект с поддержкой компании ООО "Открытые разработки".
Текущая версия (бета) - 0.1.5-rc:

Последние версии инсталляторов всегда доступны по ссылке https://software.open-dev.ru/software/odfarmcontrol/latest/

• windows - инсталлятор ODFarmControl.msi (начиная с версии 0.1.2-beta работает автообновление)
• linux - AppImage (после скачивания выполнить команду "chmod +x odfarmcontrol-x64.AppImage". начиная с версии 0.1.2-beta работает автообновление, при условии что файл не был переименован)
• mac - образ диска .dmg (начиная с версии 0.1.4-rc работает автообновление)

Исходный код: https://bitbucket.org/Rdmr/open-dev/src
Подробнее о программе:

http://blog.open-dev.ru/od-farmcontrol (блог)

https://support.open-dev.ru/knowledge_base/item/93854, https://support.open-dev.ru/knowledge_base/item/93988 (база знаний)

 

Работа с Телеграм:

 

 

• бот в Телеграме: @OpenDevBot
• бесплатный триал на неделю: отправить боту сообщение "trial farmmonitor", далее следовать инструкциям бота
• оформить подписку можно в интернет-магазине "Открытых разработок": https://shop.open-dev.ru/product/litsenziya-od-farmcontrol
• с Телеграмом будет работать только начиная с версии 0.1.4-rc. Предыдущие версии будут выдавать ошибку подключения.

 

 

 
Скрины:

 

 

 

Changelog:

0.1.1-beta
*fix macOS restart/poweroff actions
*fix network error reporting

 

0.1.2-beta

*autoupdate feature

*time of day sheduler

*complex condition for actions

 

0.1.3-beta

*proper default shebang for scripts

*(osx)autostart feature

 

0.1.4-rc

*update server configuration

 

0.1.5-rc

*fix executed script path/extension issue

*fix alarm save/restore

 

Edited 15 Aug 2017, 12:33 by xajdu

[Dmitry_RS]

Кто то уже пробовал? На сколько все стабильно работает? Надеюсь в программе нет сюрпризов  ;)  :D

https://support.open-dev.ru/knowledge_base/item/93998 Не совсем понятен вот этот момент, где оформлять подписку и сколько она будет стоить? 

[ZloyPirat]

Пробую вашу программу, нажал на колокольчик думал введу что бы перегружался когда меньше 45 градусов на ВК, так он теперь постоянно перегружает ферму, пробовал удалить директорию и заново распаковать не помогает. Где он настройки хранит?

Видимо он в реестр свои настройки записал? Я уже везде все удалял устанавливаю заново и снова ребут.

Если кто с тем же столкнется, решается так: при запуске сначала он запускает HWMonitor надо его быстро выключить пока не запустилась сама программа тогда он никаких данных не получает и ничего делать не будет, идем в вкладку информация и там убираем не нужные срабатывания.

И огорчает конечно платная подписка на бот в телеграмм. Хотя бы для обладаетелей ваших вачдогов сделайте бесплатную!

Edited 7 Jul 2017, 07:21 by ZloyPirat

[xajdu]

Пробую вашу программу, нажал на колокольчик думал введу что бы перегружался когда меньше 45 градусов на ВК, так он теперь постоянно перегружает ферму, пробовал удалить директорию и заново распаковать не помогает. Где он настройки хранит?

Видимо он в реестр свои настройки записал? Я уже везде все удалял устанавливаю заново и снова ребут.

Если кто с тем же столкнется, решается так: при запуске сначала он запускает HWMonitor надо его быстро выключить пока не запустилась сама программа тогда он никаких данных не получает и ничего делать не будет, идем в вкладку информация и там убираем не нужные срабатывания.

И огорчает конечно платная подписка на бот в телеграмм. Хотя бы для обладаетелей ваших вачдогов сделайте бесплатную!

Настройки хранятся в реестре (для о.с. Windows): HKEY_CURRENT_USER\SOFTWARE\Open-dev.ru\FarmMonitor

Программу можно запустить из командной строки с ключем "--reset" - тогда перед запуском программы будут сброшены все настройки, включая настроенные действия.

[Dmitry_RS]

@xajdu, вы разработчик из Открытых Решений? Что скажете по моим вопросам выше?

[xajdu]

@xajdu, вы разработчик из Открытых Решений? Что скажете по моим вопросам выше?

Программа открытая - исходный код будет выложен на днях.

Пока программа находится в бета-тестировании. Тарифы будут известны на следующей неделе. В любом случае, в начале будет бесплатный тестовый период.

[Dmitry_RS]

@xajdu, спасибо за ответ! 

Оповещения через Телеграм сейчас работают? На сколько Вы сами сейчас оцениваете стабильность работы программы? Просто уезжаю в отпуск 12 числа, купил WatchDog2 и тут как раз Вы программу выложили. Стоит сейчас ставить на риги, проблем возникнуть не должно? 

[xajdu]

Без оформленной подписки оповещения и удаленное управление через Телеграм работать не будут. Сама по себе программа стабильна, но процесс настройки реакции программы на изменение датчиков индивидуален для каждой машины, поскольку зависит как от оборудования, так и (в случае мониторинга температуры) от помещения. Поэтому после настройки необходимо убедиться, что все заданные действия работают как надо и, например, не приводят к циклической перезагрузке. Пока программа в бета-тесте, оставлять программу бесконтрольно без возможности подкорректировать ее действия не рекомендуется.

[Dmitry_RS]

@xajdu, правильно ли я понял что подписка появится на следующей недели? Или появятся только тарифы на подписку, а та заработает еще позже? 

В ближайшее время выход новых версий не планируется?

[xajdu]

Наоборот, в ближайшее время программа будет активно обновляться.

Да, подписка будет на следующей неделе. Весь необходимый для этого функционал в текущей версии программы уже есть.

[ZloyPirat]

Наоборот, в ближайшее время программа будет активно обновляться.

Да, подписка будет на следующей неделе. Весь необходимый для этого функционал в текущей версии программы уже есть.

Может нам как бетатстерам сделаете сразу подписочку? ;) А мы вам про найденные баги и пожелания будем писать тут...

[xajdu]

По окончании внутреннего тестирования на следующей неделе будет триальный период - подписка на этот период будет бесплатной.

[ZloyPirat]

Сколько не мучался но запустить майнер средствами данной программы не получается. В батнике указан полный адрес до exe, если просто вставляю адрес батника в командную строку то все запускается. кто уже разобрался может с этой функцией?!

Еще баг когда пишешь адрес до приложения при каждом изменении в данной записи добавляются кавычки.

PS какие то программы запускаются, но вот майнер не стартует, может подскажете в чем проблема? Может он батники не может запускать?

Нашлось решение в инструкциях на сайте :dash2:  https://support.open-dev.ru/knowledge_base/item/95234

 

Все сделал но теперь следующая проблема, если выставляем для каждой карты в случае падения нагрузки на гпу перезапуск майнера через батник, то каждое событие запускает свою копию майнера в итоге имеем 7 запущенных майнеров... Вот задача как сделать так что бы если одно событие срабытывало другие 6 ждали скажем 20 секунд?

 

Огромная помощь от форума :) Вообщем это тоже решается, нужно на всех выставить интервал например 25 секунд и на одном выставить задержку 2 секунды, получается последний выключит все 6 предыдущих, статвес нужно выставить на 1 при этом.

 

Еще один серьезный баг, при экспорте настроек с одного рига (rig2) на другой(rig1), на новом риге(rig1) создалась папка с пользователем rig2  и теперь на новом (rig1) при создании новых скриптов обращается в папку пользователя с перенесенного компьютера (rig2). Видиом от того что в Rig2 пути к скриптам были прописаны полностью иначе там они не виделись, и я подозреваю по тому что до этого настройки были скопированы с другого рига откуда и пошла путанница....

Edited 9 Jul 2017, 19:01 by ZloyPirat

[xajdu]

Импорт/Экспорт настроек (на данный момент) предназначен только для резервного копирования и восстановления настроек в пределах одной машины (если они по какой-то причине слетели, или необходимо поэкспериментировать и не потерять текущую конфигурацию). Настройки, помимо абсолютных путей, хранят еще и идентификаторы датчиков - велика вероятность что на другой машине будут другие датчики и другие идентификаторы (может повезти и сработать, но скорее всего что-нибудь слетит).

 

Спасибо за отзыв, перенос настроек будет допиливаться.

[ZloyPirat]

Импорт/Экспорт настроек (на данный момент) предназначен только для резервного копирования и восстановления настроек в пределах одной машины (если они по какой-то причине слетели, или необходимо поэкспериментировать и не потерять текущую конфигурацию). Настройки, помимо абсолютных путей, хранят еще и идентификаторы датчиков - велика вероятность что на другой машине будут другие датчики и другие идентификаторы (может повезти и сработать, но скорее всего что-нибудь слетит).

 

Спасибо за отзыв, перенос настроек будет допиливаться.

Так же надо в события добавить возможность добавлять несколько условий, к примеру как я выше писал о загрузке ГПУ. То что я сделал с запуском 7 событий конечно работает но очень не надежно... А если бы можно было в одно событие добавить 7 условий на срабатывание то проблем бы не было, поставил на все карты следить за частотой на одном или всех сработало то запустит только один скрипт и все пройдет гладко...

Если не сложно чейнджлог тоже прикладывай что меняется в версиях, что бы знать стоит ли обновляться))

Edited 10 Jul 2017, 16:20 by ZloyPirat

[xajdu]

Changelog в шапке под спойлером.

 

На этапе разработки была идея сделать или несколько условий, или цепочку - типа выполнить одно если не выполнено другое или что-то в этом роде.  Есть просто опасение, что все это непропорционально усложнит освоение программы пользователем.

 

Возможность исполнения скриптов по событиям как раз была призвана решить эту проблему - недостающую в программе логику можно переложить на скрипты.

 

Например, майнер (в скрипте) можно запускать только если он уже не запущен (шаблон скрипта приведен как раз в той статье базы знаний) - вместо taskkill  для убивания можно просто проверять есть/нет и запускать только если нет. Добавить задержку перед проверкой майнера или перед его запуском в скрипте тоже легко. 

Загрузку ГПУ можно, как вариант, мониторить среднюю по картам - она отображается на вкладке "Датчики" вместе со списком оборудования (CPU/GPU/RAM/HDD) - например, если на системе из 4х карт средняя загрузка просела ниже 75% - одна из карт отвалилась - перезапускаем майнер.

То есть майнер перезапускает только одно действие (мониторинг средней загрузки), а на сами карты при необходимости можно поставить более жесткое условие - просела ниже 5% и держится более допустим 30ти сек (чтобы хватило на перезапуск майнера по средней загрузке) - значит карта отвалилась совсем и тогда, например, перезагружаем машину.

[ZloyPirat]

Changelog в шапке под спойлером.

 

На этапе разработки была идея сделать или несколько условий, или цепочку - типа выполнить одно если не выполнено другое или что-то в этом роде.  Есть просто опасение, что все это непропорционально усложнит освоение программы пользователем.

 

Возможность исполнения скриптов по событиям как раз была призвана решить эту проблему - недостающую в программе логику можно переложить на скрипты.

 

Например, майнер (в скрипте) можно запускать только если он уже не запущен (шаблон скрипта приведен как раз в той статье базы знаний) - вместо taskkill  для убивания можно просто проверять есть/нет и запускать только если нет. Добавить задержку перед проверкой майнера или перед его запуском в скрипте тоже легко. 

Загрузку ГПУ можно, как вариант, мониторить среднюю по картам - она отображается на вкладке "Датчики" вместе со списком оборудования (CPU/GPU/RAM/HDD) - например, если на системе из 4х карт средняя загрузка просела ниже 75% - одна из карт отвалилась - перезапускаем майнер.

То есть майнер перезапускает только одно действие (мониторинг средней загрузки), а на сами карты при необходимости можно поставить более жесткое условие - просела ниже 5% и держится более допустим 30ти сек (чтобы хватило на перезапуск майнера по средней загрузке) - значит карта отвалилась совсем и тогда, например, перезагружаем машину.

Спасибо! Сегодня попробую все как вы написали. На счет перезагрузки думаю все таки по температуре более надежно, если холодная и не греется то перезгрузка....

Обновления устанавливать с удалением предыдущей версии или накатывать по верх?

Edited 10 Jul 2017, 18:19 by ZloyPirat

[xajdu]

Надежнее с удалением. Готовится утилита для автообновления.

 

На о.с. Windows есть особенность - и поверх, и при удалении сначала нужно завершить процесс OpenHardwareMonitor - иначе система не даст ни удалить ни обновить папку OpenHardwareMonitor. Также после обновления (любым из способов)  рекомендуется проверить, что у программы OpenHardwareMonitor не слетел запуск при старте системы (проверить что стоит галочка - https://support.open-dev.ru/knowledge_base/item/93856)

[ZloyPirat]

Надежнее с удалением. Готовится утилита для автообновления.

 

На о.с. Windows есть особенность - и поверх, и при удалении сначала нужно завершить процесс OpenHardwareMonitor - иначе система не даст ни удалить ни обновить папку OpenHardwareMonitor. Также после обновления (любым из способов)  рекомендуется проверить, что у программы OpenHardwareMonitor не слетел запуск при старте системы (проверить что стоит галочка - https://support.open-dev.ru/knowledge_base/item/93856)

Еще необходимо добавить, если нет интернет соединения то никакие условия не должны выполняться. Иначе при отключении интренета по каким либо причинам приведет к тому что риги начнут циклически перегружаться... Потому что карты будут холодные и не загруженные.

Edited 10 Jul 2017, 19:37 by ZloyPirat

[xajdu]

Еще необходимо добавить, если нет интернет соединения то никакие условия не должны выполняться. Иначе при отключении интренета по каким либо причинам приведет к тому что риги начнут циклически перегружаться... Потому что карты будут холодные и не загруженные.

 

Скорее всего это (или что-то подобное) будет добавлено в следующих версиях.

[ZloyPirat]

Приветствую! Бот телеграмм все еще не доступен? Или уже можно подписаться?

[Dmitry_RS]

Приветствую! Бот телеграмм все еще не доступен? Или уже можно подписаться?

Судя по сайту - https://support.open-dev.ru/knowledge_base/item/93998 еще нет :(

Что то стихла тема, я только сегодня думал зайти и проверить подписку на тему, думал мало ли случайно отписался.

[xajdu]

Вышло обновление до версии 0.1.4

Среди прочего добавлена возможность задавать комплексные условия для действий (подробности - в базе знаний https://support.open-dev.ru/knowledge_base/item/95717)

А также запущен обещанный недельный триал в Телеграме.

Подробная информация - в шапке.

[xajdu]

Вышло обновление до версии 0.1.5

В предыдущих версиях могла возникнуть проблема при выполнении скрипта, если действие было отредактировано.

На всех платформах поддерживается автообновление. Рекомендуется обновиться до 0.1.5

[Overmaster]

Добрый день! Пользуюсь Вашей утилитой, для перезагрузки фермы, если количество карт меньше установленного значения. Очень часто не высвечиваются датчики видеокарт, из-за этого программа не работает. Пробовал удалять полностью и переустанавливать программу последней версии - проблема не исчезает. На некоторых фермах работает нормально, на некоторых датчики пустые. Что делать? Если Вам удобно, готов обсудить это с Вами, удобным для Вас способом.