Перейти к содержимому

YoBit.Net

Фотография

rigonline.ru | Мониторинг работы фермы

мониторинг подключение отключение

Сообщений в теме: 798

#441 zurf

zurf

    Пользователь

  • Пользователи
  • PipPip
  • 71 сообщений

Отправлено 27 July 2017 - 11:05

nikodim, Я про графики температур, если чо :)


  • 0

Ветеран броуновского движения


#442 nikodim

nikodim

    Пользователь

  • Пользователи
  • PipPip
  • 395 сообщений
  • ГородТюмень

Отправлено 27 July 2017 - 11:11

nikodim, Я про графики температур, если чо :)

 

Понял))

 

Значит есть пользователи, которым статистика температур не нужна в принципе.

Я тоже придерживаюсь этого мнения.

 

Но если есть пользователи которым:

1. статистика температур нужна

2. могут аргументировать важность этого функционала

3. предложат решение по минимизации нагрузки на сервер в связи с огромным количеством данных

то я готов рассмотреть данное предложение


  • 2

Сервис мониторинга работы ферм - rigonline.ru


#443 Rostiks

Rostiks

    Новичок

  • Пользователи
  • Pip
  • 41 сообщений

Отправлено 27 July 2017 - 11:49

Понял))

 

Значит есть пользователи, которым статистика температур не нужна в принципе.

Я тоже придерживаюсь этого мнения.

 

Но если есть пользователи которым:

1. статистика температур нужна

2. могут аргументировать важность этого функционала

3. предложат решение по минимизации нагрузки на сервер в связи с огромным количеством данных

то я готов рассмотреть данное предложение

 

Я думаю сохранять статистику температур не обезательно, по остановкам может и да, но по температурам не нужно.

Более важная тема это перезагрузка если один из показателей карт упал к заданому значению. (Но нужно учесть еще то что если нет интернета перезагрузку не нужно делать, так как если нет интернета показатели и так падают) 


  • 0

#444 ardarik

ardarik

    Новичок

  • Пользователи
  • Pip
  • 29 сообщений

Отправлено 27 July 2017 - 12:30

Я думаю сохранять статистику температур не обезательно, по остановкам может и да, но по температурам не нужно.

Более важная тема это перезагрузка если один из показателей карт упал к заданому значению. (Но нужно учесть еще то что если нет интернета перезагрузку не нужно делать, так как если нет интернета показатели и так падают) 

поддерживаю, графики не самое важное и при просмотре на айфон 5 много не рассмотришь, да и не зачем вспоминать, что было вчера, зима близко!!!)


  • -1

#445 kernel33

kernel33

    Новичок

  • Пользователи
  • Pip
  • 44 сообщений

Отправлено 27 July 2017 - 12:39

Пользователи, которые очень хотели графики по температурам карт, есть что обсудить.

 

На данный момент логика следующая:

- при каждом обращении с фермы записывается температура всех карт.

 

Данные пишутся следующем виде: ,[1500903224,"62"] - где первый параметр время, второй температура.

Естественно эти данные пишутся для всех видеокарт и всех ферм - в единый массив, который хранится в json формате (у каждого пользователя свой).

 

Размер этих данных - 18 байт.

Это на столько (минимум) увеличивается файл с одной видеокарты каждые 3 минуты.

С учетом обращений каждые 3 минуты - в час получается 20 обращений, а в сутки - 480 обращений.

Итого за сутки с одной видеокарты размер файла увеличивается на 8,5 Кб.

 

 

Далее разберем на моем примере:

У меня 6 ферм по 5 видеокарт. Итого 30 видеокарт.

В результате получаем, что размер файла статистики температур за сутки вырастет на 255 Кб (минимум).

Соответственно через 4 суток, мой файл статистики температур видеокарт будет весить уже 1 Мб.

И, как вы понимаете, сервис каждые 3 минуты этот файл читает и записывает.

Это ни есть хорошо, тем более с каждым днем размер файла увеличивается.

 

Естественно у всех разное количество видеокарт - у кого-то меньше, в у кого-то больше.

Но их количество постоянно растет.

 

Итак, вопрос:

- какие будут предложения по снижению размера файлов статистики и соответственно снижению нагрузки?

Потому что в нынешней логике я вынужден отказываться от записи статистики и графиков температур.

 

Пока есть предложение писать статистику не каждые 3 минуты, а допустим, раз в час.

На сколько такой вариант будет полезен? На сколько такая статистика и графики будут актуальными и информативными?

В описании не указано, где хранится файл?

На клиенте? На сервере?

 

Если данные обрабатываются и визуализируются на сервере, то зачем их хранить на клиенте?

Собрал - Отправил - В архив.

Архив каждые 30 дней надрезается т.к. данные все равно есть на сервере.

 

или я чего то не понимаю в архитектуре данного ПО и сервиса?


  • 0

#446 kernel33

kernel33

    Новичок

  • Пользователи
  • Pip
  • 44 сообщений

Отправлено 27 July 2017 - 12:49

Мне кажется логически это неверно. см скрин

по логике Всего = Работают + Остановлены + С ошибками.

 

Прикрепленные изображения

  • Снимок.PNG

  • 0

#447 nikodim

nikodim

    Пользователь

  • Пользователи
  • PipPip
  • 395 сообщений
  • ГородТюмень

Отправлено 27 July 2017 - 12:55

В описании не указано, где хранится файл?

На клиенте? На сервере?

 

Если данные обрабатываются и визуализируются на сервере, то зачем их хранить на клиенте?

Собрал - Отправил - В архив.

Архив каждые 30 дней надрезается т.к. данные все равно есть на сервере.

 

или я чего то не понимаю в архитектуре данного ПО и сервиса?

 

Файл ессно хранятся на сервере - в директории пользователя (у каждого пользователя сервиса есть своя директория).

На клиенте ни чего не хранится - только собираются данные и отправляются на сервер.


Мне кажется логически это неверно. см скрин

по логике Всего = Работают + Остановлены + С ошибками.

 

Вы правы, вам кажется))

По логике: Всего = Работают + Остановлены

С ошибками - это самостоятельная статья, потому что с ошибками может быть как запущенная ферма, так и остановленная.


  • 0

Сервис мониторинга работы ферм - rigonline.ru


#448 kernel33

kernel33

    Новичок

  • Пользователи
  • Pip
  • 44 сообщений

Отправлено 27 July 2017 - 13:18

Файл ессно хранятся на сервере - в директории пользователя (у каждого пользователя сервиса есть своя директория). На клиенте ни чего не хранится - только собираются данные и отправляются на сервер.

 

Парсинг большого файла занимает больше времени. В какой то момент разработка упрется в объем файла. Как вы понимаете, мастер данные лучше хранить в табличном виде.

 

С ошибками - это самостоятельная статья, потому что с ошибками может быть как запущенная ферма, так и остановленная.

Соглашусь, что ферма может работать, но работать с ошибками.

Как остановленная ферма может быть с ошибками?


  • 0

#449 tonerland

tonerland

    Новичок

  • Пользователи
  • Pip
  • 10 сообщений

Отправлено 27 July 2017 - 13:31

Имхо. Если и делать графики по температуре то с хранением на сервере среднего значения температуры за час.

Но, как мне кажется, есть вариант реализации данной функции без особого увеличения нагрузки на сервер.

Например, настройка бота Телеграм или ВК на отправку статистики через определенный промежуток времени.

Индивидуальная настройка для каждого пользователя. (желательно с указанием номеров ферм по которым отправлять статистику)

Может быть полезно для отлавливания нестабильно работающей системы охлаждения (отключения кондиционера с последующим автозапуском и т.д.)

Также, как вариант, хранить на сервере данные максимум за сутки. В настройках личного кабинета предусмотреть опцию отправки файла с данными за сутки на емейл

пользователю активировавшему данную функцию и  простой просмотрщик файла данных полученного по емейлу на локальной машине пользователя.

Этот вариант полезен тем что желающие хранить статистику по температурам (также, насколько я понимаю и по другим параметрам работы ферм) получают возможность ее хранить за любой промежуток времени у себя на почтовом ящике или на своей локальной машине.

 


  • 0

#450 nikodim

nikodim

    Пользователь

  • Пользователи
  • PipPip
  • 395 сообщений
  • ГородТюмень

Отправлено 27 July 2017 - 13:45

Парсинг большого файла занимает больше времени. В какой то момент разработка упрется в объем файла. Как вы понимаете, мастер данные лучше хранить в табличном виде.

 

 

 

Соглашусь, что ферма может работать, но работать с ошибками.

Как остановленная ферма может быть с ошибками?

 

О том и речь, что нельзя допустить разрастания файлов. Именно поэтому и поднял такой вопрос.

 

 

Остановленная ферма - это ферма данные с которой устарели (поступили более 7 минут назад). В этих данных так-же может быть информация выходах за лимиты температур и об отсутствующих картах.

Если правильнее будет в "С ошибками" не считать ошибки в остановленных фермах, то сделаю. Вопрос пяти минут.


  • 0

Сервис мониторинга работы ферм - rigonline.ru


#451 nikodim

nikodim

    Пользователь

  • Пользователи
  • PipPip
  • 395 сообщений
  • ГородТюмень

Отправлено 27 July 2017 - 14:00

Имхо. Если и делать графики по температуре то с хранением на сервере среднего значения температуры за час.

Но, как мне кажется, есть вариант реализации данной функции без особого увеличения нагрузки на сервер.

Например, настройка бота Телеграм или ВК на отправку статистики через определенный промежуток времени.

Индивидуальная настройка для каждого пользователя. (желательно с указанием номеров ферм по которым отправлять статистику)

Может быть полезно для отлавливания нестабильно работающей системы охлаждения (отключения кондиционера с последующим автозапуском и т.д.)

Также, как вариант, хранить на сервере данные максимум за сутки. В настройках личного кабинета предусмотреть опцию отправки файла с данными за сутки на емейл

пользователю активировавшему данную функцию и  простой просмотрщик файла данных полученного по емейлу на локальной машине пользователя.

Этот вариант полезен тем что желающие хранить статистику по температурам (также, насколько я понимаю и по другим параметрам работы ферм) получают возможность ее хранить за любой промежуток времени у себя на почтовом ящике или на своей локальной машине.

 

Поддерживаете мое предложение по записи одного значения по карте в час (среднего).

Это поможет сократить размеры файлов в 20 раз.

Но опять же вопрос - на сколько актуальными будут эти значения?

Например, у пользователя каждый час на несколько минут поднимается температура карт.

По графику (по средней за час) - все будет ровно, а по факту скачкИ каждый час.

 

* Естественно при реализации функционала данные будут храниться лишь за несколько последних дней.


  • 0

Сервис мониторинга работы ферм - rigonline.ru


#452 tonerland

tonerland

    Новичок

  • Пользователи
  • Pip
  • 10 сообщений

Отправлено 27 July 2017 - 15:06

Поддерживаете мое предложение по записи одного значения по карте в час (среднего).

Это поможет сократить размеры файлов в 20 раз.

Но опять же вопрос - на сколько актуальными будут эти значения?

Например, у пользователя каждый час на несколько минут поднимается температура карт.

По графику (по средней за час) - все будет ровно, а по факту скачкИ каждый час.

 

* Естественно при реализации функционала данные будут храниться лишь за несколько последних дней.

Если дополнить опцией автоотправки ботом в телеграфе значений температуры по определенной ферме (для желающих отловить повышение температуры определенной карты) - то в общем должно получиться информативно.

На часовых графиках видна остановка кулера видеокарты или рост температуры в помещении. А для отлова краткосрочного перегрева и последующего отвала определенной видеокарты - отправка значений автоматом (при включении такой опции в ЛК) ботом в телеграф. (Или значений, скажем, за час на емейл или телеграф, перед вычислением среднечасовой температуры)

Или отправка файла с данными работы ферм пользователю на емейл за, например, сутки для последующего анализа на локальной машине, но в этом случае нужны данные за каждую отправку данных, а не среднее значение за час.

Как еще один вариант графиков за час..... Кроме средней температуры выводить дополнительно значения максимальной и минимальной температуры за час.


  • 0

#453 kernel33

kernel33

    Новичок

  • Пользователи
  • Pip
  • 44 сообщений

Отправлено 27 July 2017 - 15:27

nikodim,

Лимит хранения - 30 дней.

На примере автора - за месяц файл будет весить 8 мб.

 

Итого 8 мб с юзера в месяц. 

Если 1000 юзеров - 8 Гб.

10 000 юзеров - 80 Гб.

 

Проблема действительно настолько актуальна на данном этапе?


  • 0

#454 eau2lourde

eau2lourde

    Новичок

  • Пользователи
  • Pip
  • 2 сообщений

Отправлено 27 July 2017 - 15:30

Добрый день

Как я могу узнать:  какая тут ошибка?

  

Прикрепленные изображения

  • Clip2net_170727152944.png

  • 0

#455 tonerland

tonerland

    Новичок

  • Пользователи
  • Pip
  • 10 сообщений

Отправлено 27 July 2017 - 15:42

Добрый день

Как я могу узнать:  какая тут ошибка?

vcount=6 это для шести видеокарт

vcount=4 если у вас 4 видеокарты

в файле config


  • 2

#456 nikodim

nikodim

    Пользователь

  • Пользователи
  • PipPip
  • 395 сообщений
  • ГородТюмень

Отправлено 27 July 2017 - 15:54

nikodim,

Лимит хранения - 30 дней.

На примере автора - за месяц файл будет весить 8 мб.

 

Итого 8 мб с юзера в месяц. 

Если 1000 юзеров - 8 Гб.

10 000 юзеров - 80 Гб.

 

Проблема действительно настолько актуальна на данном этапе?

 

Еще как актуальна. Особенно если вникнуть в то что я писал.

 

Система читает/записывает файл каждые 3 минуты.

И если файл большой, то ей становится очень накладно это делать.

 

При учете, что одна ферма в сутки делает 480 обращений.

И, допустим, среднее количество ферм - 3 штуки.

А так-же предположить что есть 1000 пользователей.

Получаем:

480 * 3 * 1000 = 1 440 000 - чтений/записей этих файлов в сутки.

А это 17 обращений в секунду, не считая работу крона, просмотр статистики, обращения из телеграм и прочего. В результате набурется все 30 обращений в секунду. И если в этих обращениях будет работа с тяжелыми файлами, то система просто не вывезет.

 

Так что проблема не в хранении файлов, а в регулярной работе с ними при постоянном их росте.

Да и пользователей, на данный момент, уже почти 2К. Соответственно это уже 50-60 обращений в секунду.

 

Именно поэтому вопрос звучит так: есть ли вообще надобность температурных графиков?

И если они прям необходимы, то второй вопрос: на какие жертвы можно пойти чтобы минимизировать нагрузку на сервер.


Добрый день

Как я могу узнать:  какая тут ошибка?

 

У вас отсутствуют 2 видеокарты))

 

tonerland совершенно прав - нужно в конфиге (config.ini) приложения изменить значение параметра отвечающего за количество видеокарт на ферме (vcount)


  • 1

Сервис мониторинга работы ферм - rigonline.ru


#457 kerk

kerk

    Пользователь

  • Пользователи
  • PipPip
  • 412 сообщений
  • ГородЕссентуки

Отправлено 27 July 2017 - 15:56

vcount=6 это для шести видеокарт

vcount=4 если у вас 4 видеокарты

в файле config

я не менял, по умолчанию =1, и где 4 карты всё ок! и где 5 карт всё ок! изменил только пороги температуры. А с температурой у него пи****дец! 78 по ядру - это все 90 на WRM при 58% на вентиле :blink:


  • 0

#458 nikodim

nikodim

    Пользователь

  • Пользователи
  • PipPip
  • 395 сообщений
  • ГородТюмень

Отправлено 27 July 2017 - 16:01

я не менял, по умолчанию =1, и где 4 карты всё ок! и где 5 карт всё ок! изменил только пороги температуры. А с температурой у него пи****дец! 78 по ядру - это все 90 на WRM при 58% на вентиле :blink:

 

Если оставите по умолчанию = 1, то не поймаете отвал видеокарт...

Потому что система сравнивает значение этого параметра и пришедшие данные по видикам. 

Соответственно если у вас 5 карт и одна отвалилась - на сервис данные придут по 4 картам, но это все равно будет больше чем в конфиге.

Соответственно ошибка не будет выявлена.


  • 0

Сервис мониторинга работы ферм - rigonline.ru


#459 kernel33

kernel33

    Новичок

  • Пользователи
  • Pip
  • 44 сообщений

Отправлено 27 July 2017 - 16:06

Именно поэтому вопрос звучит так: есть ли вообще надобность температурных графиков? И если они прям необходимы, то второй вопрос: на какие жертвы можно пойти чтобы минимизировать нагрузку на сервер.

 

Да. Нужны. Без ущерба прочему функционалу.

Выход один - Postgres


  • 0

#460 aqwark

aqwark

    Новичок

  • Пользователи
  • Pip
  • 1 сообщений

Отправлено 27 July 2017 - 17:18

Доброго дня!

 

Подскажите пожалуйста, прога видит только зелёные карточки? amd не видит?(


  • 0





Темы с аналогичным тегами мониторинг, подключение, отключение

Количество пользователей, читающих эту тему: 5

1 пользователей, 3 гостей, 0 анонимных