rig.cards - сервис для мониторинга ферм с уведомлениями по email и Telegram

[alparex]

1 час назад, rigcards сказал:

PS. я смотрел ваш запрос касательно добавления потребляемой мощности, но там есть проблема, т.к. такие данные можно получить только через утилиту nvsmi и то не всегда, не для всех типов карт, в общем, с нюансами, что в свою очередь повлечет за собой другие ограничения и необходимость перенастраивать риги на использование этой утилиты клиентом. Поэтому пока в подвешенном состоянии.

 

Я вижу, что в скрипте rigcards.ps1 есть обращение к nvidia-smi:

 

$nvidia_csv = & $nvsmi_path --query-gpu=gpu_bus_id,gpu_name,temperature.gpu,clocks.gr,clocks.mem,fan.speed,utilization.gpu --format=csv,noheader,nounits | Out-String

 

Его просто нужно дополнить параметром power.draw так:

$nvidia_csv = & $nvsmi_path --query-gpu=gpu_bus_id,gpu_name,temperature.gpu,clocks.gr,clocks.mem,fan.speed,utilization.gpu,power.draw --format=csv,noheader,nounits | Out-String

 

Затем полученное значение мощности округлить до целого ватта функцией Round и отправить это значение на веб-морду. Если имеем ошибку (т.е. результат не в пределах от 1 до 1000 Ватт) значит какая-то ошибка, и передаём на веб-морду просто ноль.

 

На веб-морде в табличку нужно добавить колонку Power для отображения результата.

 

Это всё, не так ли?

 

[rigcards]

Почти, но есть пару мелочей еще, проверок и т.п.

 

Основной метод получения данных - без использования nvsmi (собственно, для тех же AMD это не поможет)

nvsmi была в свое время добавлена для работы карт типа P104/106 и т.п., которые не "читались" дефолтным методом.

Но с nvsmi есть встречная проблема, там не передавались то ли показания вентиляторов, то ли еще что-то.

 

Какие карты вы юзаете? Попробуйте перевести клиент в использование nvsmi, посмотрите как оно у вас будет работать.

 

И можете попробовать еще запустить nvsmi на своей системе, кинуть мне в личку че она у вас показывает на ваших картах.

[alparex]

1 час назад, rigcards сказал:

Почти, но есть пару мелочей еще, проверок и т.п.

 

 

Я использую карты Nvidia (2060 \ 3060 \ 3070 \ 3070Ti)

Power draw отображается нормально через nvidia-smi:

PS C:\Windows\system32> nvidia-smi --query-gpu=gpu_bus_id,gpu_name,temperature.gpu,clocks.gr,clocks.mem,fan.speed,utilization.gpu,power.draw --format=csv,noheader,nounits
00000000:01:00.0, NVIDIA GeForce RTX 3070, 52, 1725, 7000, 68, 100, 147.11
00000000:02:00.0, NVIDIA GeForce RTX 3070, 51, 1725, 7000, 65, 100, 152.71
00000000:03:00.0, NVIDIA GeForce RTX 3070, 53, 1725, 7000, 74, 100, 147.89
00000000:04:00.0, NVIDIA GeForce RTX 3070, 52, 1725, 7000, 68, 100, 149.62
00000000:05:00.0, NVIDIA GeForce RTX 3070, 54, 1725, 7000, 77, 100, 150.07
00000000:09:00.0, NVIDIA GeForce RTX 3070, 49, 1725, 7000, 58, 100, 149.59
00000000:0A:00.0, NVIDIA GeForce RTX 3070, 50, 1725, 7000, 61, 100, 151.90
00000000:0B:00.0, NVIDIA GeForce RTX 3070, 55, 1725, 7000, 79, 100, 149.95
00000000:0C:00.0, NVIDIA GeForce RTX 3070, 53, 1725, 7000, 73, 100, 152.89
00000000:0D:00.0, NVIDIA GeForce RTX 3070, 51, 1725, 7000, 65, 100, 153.62
00000000:0E:00.0, NVIDIA GeForce RTX 3070, 51, 1725, 7000, 65, 100, 149.15
00000000:0F:00.0, NVIDIA GeForce RTX 3070, 52, 1725, 7000, 71, 100, 153.41

Значения Power Draw лучше, конечно, округлить до целого ватта.

Я не знаю, как перевести клиент в использование nvsmi.
Либо лучше оставить получение всех дачтиков через OpenHardwareMonitor, а от nvidia-smi получать только Power Draw?
 
Если веб-морду сложно переделывать на добавление еще одного столбца - то можно пока выводить Power Draw вместо столбца Load - или в добавок. Например: "151W 100%"

Сможете в ближайшее время реализовать это? Там вроде всего несколько строчек кода переписать нужно.

Изменено 28 июл 2023, 18:40 пользователем alparex

[rigcards]

В 28.07.2023 в 21:38, alparex сказал:

Я не знаю, как перевести клиент в использование nvsmi.

 

https://forum.bits.media/index.php?/topic/81266-rigcards-сервис-для-мониторинга-ферм-с-уведомлениями-по-email-и-telegram/page/9/#comment-1801744

 

пробуйте

 

 

В 28.07.2023 в 21:38, alparex сказал:

Либо лучше оставить получение всех дачтиков через OpenHardwareMonitor, а от nvidia-smi получать только Power Draw?

Не получится, т.к. придется переписывать логику приложухи, а главное, там почти нет возможности сопоставить карты в ohm и nvsmi.

[alparex]

В 31.07.2023 в 17:39, rigcards сказал:

 

https://forum.bits.media/index.php?/topic/81266-rigcards-сервис-для-мониторинга-ферм-с-уведомлениями-по-email-и-telegram/page/9/#comment-1801744

 

пробуйте

 

 

Не получится, т.к. придется переписывать логику приложухи, а главное, там почти нет возможности сопоставить карты в ohm и nvsmi.

 

Спасибо, получилось. Хоть и коряво, но задачу решает.

На приложенной картинке для одного из ригов вывожу потребление вместо показателя load.

 

Вопрос такой:

OpenHardwareMonitor и Nvidia-smi (для моих ригов, где только карты nvidia) показывают карты в одинаковом порядке, сортируя, видимо, по bus-id. 
Поэтому я хочу все-таки вывести значение fan_rpm, взяв его через OpenHardwareMonitor. 

Сейчас оно записывается в массив $gpu_object, который потом обнуляется и заново переписывается в цикле обращения к NVSI.

Соответственно, в цикле OpenHardwareMonitor  я просто буду использовать другое имя массива, например $gpu_object2. Вот так:

$gpu_object2.Add("fan_rpm", ($hw.Sensors | Where-Object {$_.SensorType -eq "Fan" -and $_.Name -like "GPU*" -and $_.Identifier -like "$Identifier*"} | Select-Object -ExpandProperty "Value" | Out-String).Trim())

 

Вопрос в том, как правильно обратиться к значению $gpu_object2.fan_rpm[i-ой карты] в цикле NVSI?

 

ForEach($gpu in $gpu_data){
$gpu_object = @{}
$gpu_object.Add('fan_rpm', $gpu_object2.fan_rpm)  - ВОТ КАК ТУТ УКАЗАТЬ i-УЮ КАРТУ ПО СЧЕТЧИКУ ЦИКЛА?
...

$gpu_array += $gpu_object
}

 

Моих знаний программирования не хватает ?

Подскажите, пожалуйста, правильный синтаксис обращения к i-ому элементу массива.

 

[rigcards]

@alparex  скиньте мне в личку итоговый ваш клиент, посмотрю.

 

И в таком случае нужно отключить автообновление клиента, а то при возможной обнове, все перезапишется

 

Также там логика построена таким образом, что происходит либо опрос ohm, либо опрос nvsmi, чтобы не дублировать карты. Соответственно, это поведение нужно изменить, например, создав другой массив $gpu_array (скажем, $gpu_array_nvsmi) куда записать показания из nvsmi

 

И после всего этого обойти массив $gpu_array в цикле добавив в него соответствующие данные из $gpu_array_nvsmi

 

Код лучше оформлять в соотв. тег, чтобы было читабельно

 

Изменено 7 авг 2023, 07:56 пользователем rigcards

[alparex]

В итоге со всем разобрался, получилось красиво :)