Настройка gtx 1060 под Linux

necroman · 4 окт 2017, 08:35

Доброго времени суток.

Уже третий день пытаюсь настроить Ubuntu Server 14.04 с пятью видеокартами gtx 1060 для разгона.

Драйвера ставятся(пробовал разные, 375, 384), с помощью nvidia-smi могу посмотреть температуру, скорость вращения вентиляторов и т.п. Но при попытке разогнать видюху(даже включить куллер), выдается ошибка:

Скрытый текст


necroman@mainertest:~$ nvidia-settings -a '[fan:0]/GPUTargetFanSpeed=80'

ERROR: The control display is undefined; please run `nvidia-settings --help`
       for usage information.

Если под рутом, то чуть другая ошибка:

Скрытый текст


necroman@mainertest:~$ sudo nvidia-settings -a '[fan:0]/GPUTargetFanSpeed=80'
error: XDG_RUNTIME_DIR not set in the environment.

ERROR: The control display is undefined; please run `nvidia-settings --help`
       for usage information.

Файл xorg.conf

Скрытый текст


# nvidia-xconfig: X configuration file generated by nvidia-xconfig
# nvidia-xconfig:  version 375.82  (buildmeister@swio-display-x86-rhel47-03)  Wed Jul 19 21:43:37 PDT 2017


Section "ServerLayout"
    Identifier     "Layout0"
    Screen      0  "Screen0"
    Screen      1  "Screen1" RightOf "Screen0"
    Screen      2  "Screen2" RightOf "Screen1"
    Screen      3  "Screen3" RightOf "Screen2"
    Screen      4  "Screen4" RightOf "Screen3"
    InputDevice    "Keyboard0" "CoreKeyboard"
    InputDevice    "Mouse0" "CorePointer"
EndSection

Section "Files"
EndSection

Section "InputDevice"

    # generated from default
    Identifier     "Mouse0"
    Driver         "mouse"
    Option         "Protocol" "auto"
    Option         "Device" "/dev/psaux"
    Option         "Emulate3Buttons" "no"
    Option         "ZAxisMapping" "4 5"
EndSection

Section "InputDevice"

    # generated from default
    Identifier     "Keyboard0"
    Driver         "kbd"
EndSection

Section "Monitor"
    Identifier     "Monitor0"
    VendorName     "Unknown"
    ModelName      "Unknown"
    HorizSync       28.0 - 33.0
    VertRefresh     43.0 - 72.0
    Option         "DPMS"
EndSection

Section "Monitor"
    Identifier     "Monitor1"
    VendorName     "Unknown"
    ModelName      "Unknown"
    HorizSync       28.0 - 33.0
    VertRefresh     43.0 - 72.0
    Option         "DPMS"
EndSection

Section "Monitor"
    Identifier     "Monitor2"
    VendorName     "Unknown"
    ModelName      "Unknown"
    HorizSync       28.0 - 33.0
    VertRefresh     43.0 - 72.0
    Option         "DPMS"
EndSection

Section "Monitor"
    Identifier     "Monitor3"
    VendorName     "Unknown"
    ModelName      "Unknown"
    HorizSync       28.0 - 33.0
    VertRefresh     43.0 - 72.0
    Option         "DPMS"
EndSection

Section "Monitor"
    Identifier     "Monitor4"
    VendorName     "Unknown"
    ModelName      "Unknown"
    HorizSync       28.0 - 33.0
    VertRefresh     43.0 - 72.0
    Option         "DPMS"
EndSection
Section "Device"
    Identifier     "Device0"
    Driver         "nvidia"
    VendorName     "NVIDIA Corporation"
    BoardName      "GeForce GTX 1060 6GB"
    BusID          "PCI:1:0:0"
EndSection

Section "Device"
    Identifier     "Device1"
    Driver         "nvidia"
    VendorName     "NVIDIA Corporation"
    BoardName      "GeForce GTX 1060 6GB"
    BusID          "PCI:2:0:0"
EndSection

Section "Device"
    Identifier     "Device2"
    Driver         "nvidia"
    VendorName     "NVIDIA Corporation"
    BoardName      "GeForce GTX 1060 6GB"
    BusID          "PCI:3:0:0"
EndSection

Section "Device"
    Identifier     "Device3"
    Driver         "nvidia"
    VendorName     "NVIDIA Corporation"
    BoardName      "GeForce GTX 1060 6GB"
    BusID          "PCI:4:0:0"
EndSection

Section "Device"
    Identifier     "Device4"
    Driver         "nvidia"
    VendorName     "NVIDIA Corporation"
    BoardName      "GeForce GTX 1060 6GB"
    BusID          "PCI:6:0:0"
EndSection

Section "Screen"
    Identifier     "Screen0"
    Device         "Device0"
    Monitor        "Monitor0"
    DefaultDepth    24
    Option         "CustomEDID" "DFP-0:/etc/X11/edid.bin"
    Option         "Coolbits" "12"
    Option         "ConnectedMonitor" "DFP-0"
    SubSection     "Display"
        Depth       24
    EndSubSection
EndSection

Section "Screen"
    Identifier     "Screen1"
    Device         "Device1"
    Monitor        "Monitor1"
    DefaultDepth    24
    Option         "CustomEDID" "DFP-0:/etc/X11/edid.bin"
    Option         "Coolbits" "12"
    Option         "ConnectedMonitor" "DFP-0"
    SubSection     "Display"
        Depth       24
    EndSubSection
EndSection

Section "Screen"
    Identifier     "Screen2"
    Device         "Device2"
    Monitor        "Monitor2"
    DefaultDepth    24
    Option         "CustomEDID" "DFP-0:/etc/X11/edid.bin"
    Option         "Coolbits" "12"
    Option         "ConnectedMonitor" "DFP-0"
    SubSection     "Display"
        Depth       24
    EndSubSection
EndSection

Section "Screen"
    Identifier     "Screen3"
    Device         "Device3"
    Monitor        "Monitor3"
    DefaultDepth    24
    Option         "CustomEDID" "DFP-0:/etc/X11/edid.bin"
    Option         "Coolbits" "12"
    Option         "ConnectedMonitor" "DFP-0"
    SubSection     "Display"
        Depth       24
    EndSubSection
EndSection

Section "Screen"
    Identifier     "Screen4"
    Device         "Device4"
    Monitor        "Monitor4"
    DefaultDepth    24
    Option         "CustomEDID" "DFP-0:/etc/X11/edid.bin"
    Option         "Coolbits" "12"
    Option         "ConnectedMonitor" "DFP-0"
    SubSection     "Display"
        Depth       24
    EndSubSection
EndSection

Как я понял, проблема в иксах, потому что если установить ubuntu-desktop, то оболочка не запускается.

xinit выдает следующую ошибку:

Скрытый текст

Может кто посоветует, хотя бы в какую сторону копать. А то в Linux не очень много работал.

Nosych · 4 окт 2017, 21:06

To necroman :

Ошибка на фото выдаётся потому, что у тебя иксы уже запущены, а ты их второй раз запускаешь.

Где-то выше написано, что для управления вентиляторами надо, чтобы в xorg.conf coolbits был 31 , а у тебя 12.

Поищи в теме сообщения от Shevchik - они лаконичны, но по делу.

Я своё победил так: моё сообщение выше

necroman · 5 окт 2017, 09:28

@Nosych , Спасибо большое. Именно так и получилось победить.

Nosych · 6 окт 2017, 10:59

В 03.10.2017 в 13:03, Skylion сказал:

Отпишись обязательно, сейчас сам хочу взять на Н110 на 13 pci)))

Проверил на мат.плате ASUS H110M-K, коммутатор заработал после того как я воткнул его в разъём pci-e 1Х. Попытка воткнуть его в pci-e 16X успехом не увенчалась - CUDA карточек не увидела. Так что надо брать мать на H110, на P45 не работает.

Skylion · 6 окт 2017, 11:02

Спасибо!

Но от меня таки будет обзор Biostar tb250-btc pro на 12 портов + сплиттер.

А так же на выходных попробую 17 карт на z270-p (3 сплиттера)

AntonSor · 6 окт 2017, 17:23

Грязный аппаратный хак вентилятора видеокарты - для тех, кто так и не смог настроить программное управление. Вытащите из разъема кулера четвертый провод, провод управления оборотами, и оставьте его висеть в воздухе. Он и так подтянут внутри к плюсу. Распайка стандартная - общий, +12, контроль оборотов, управление оборотами, как и у обычного компьютерного кулера. Вентилятор будет дуть на 100%. Проверено на Palit GTX1060

Изменено 6 окт 2017, 17:26 пользователем AntonSor

Skylion · 6 окт 2017, 17:25

тогда они на 100% крутить будут

AntonSor · 6 окт 2017, 17:30

Да, на 100%. Эта дурная видеокарта палит с алюминиевым радиатором держит скорость вентилятора не выше 50%. И греется сама до 82 градусов. Ей надо сразу до 100% повышать. После возни с драйверами, после игнорирования ими cool-bits=4, после кучи ошибок и было рождено такое решение. Надеюсь, кому-нибудь будет полезно, как крайнее средство

---

На всякий случай, ошибки такие:

sudo nvidia-xconfig --cool-bits=4

Using X configuration file: "/etc/X11/xorg.conf".

VALIDATION ERROR: Data incomplete in file /etc/X11/xorg.conf.
Undefined Device "intel" referenced by Screen "layout".

Package xorg-server was not found in the pkg-config search path.
Perhaps you should add the directory containing `xorg-server.pc'
to the PKG_CONFIG_PATH environment variable
No package 'xorg-server' found
Backed up file '/etc/X11/xorg.conf' as
'/etc/X11/xorg.conf.nvidia-xconfig-original'
Backed up file '/etc/X11/xorg.conf' as '/etc/X11/xorg.conf.backup'
New X configuration file written to '/etc/X11/xorg.conf'

и потом при попытке установить скорость вентилятора

nvidia-settings -a [fan:0]/GPUTargetFanSpeed=100

ERROR: Error assigning value 100 to attribute 'GPUTargetFanSpeed'
(comp1:0[fan:0]) as specified in assignment
'[fan:0]/GPUTargetFanSpeed=100' (Unknown Error).

Изменено 6 окт 2017, 17:52 пользователем AntonSor

Skylion · 6 окт 2017, 17:59

В общем на ASUS Z270-p удалось поднять 16 карт. 17я не завелась.

r9380 · 11 окт 2017, 15:41

В 10/6/2017 в 20:59, Skylion сказал:

В общем на ASUS Z270-p удалось поднять 16 карт. 17я не завелась.

Что за карты? Как подключали? Система? Настройка биоса? Скриншоты майнера? Проц/память?

Skylion · 11 окт 2017, 20:59

5 часов назад, r9380 сказал:

Что за карты? Как подключали? Система? Настройка биоса? Скриншоты майнера? Проц/память?

Gtx 1060 (часть МЕ), Linux, 2XM2 + 2 1x4 pci сплиттера.

Проц 4560, 8 (а потом 4Гб)

r9380 · 12 окт 2017, 11:34

Круть, новый рекорд этого форума) Думаю стоит запостить в профильную тему https://forum.bits.media/index.php?/topic/21130-8-видеокарт-на-одной-ферме-кто-ставил/

Nosych · 16 окт 2017, 19:11

Возникла проблема при подключении 4 карт к коммутатору 4 в 1 pci-e 1X. Три карты видятся КУДОй (и Убунтой) нормально, добавляю 4-ую, CUDA и Убунта видят из 4-х только одну.

Пробовал оставлять 3 в коммутаторе, а 4-ую подключать к pci-e 1X или 16X - та же петрушка! Что я делаю не так? Может перед тем как добавить карту надо биос матери сбросить или добавить карту, а потом биос сбросить? Помогите советом, плиз.

P.S.Плата ASUS на H110, коммутатор из этого сообщения.

UPD

Сегодня продолжил свои эксперименты: мать ASUS H110M-K, обновил биос до последнего, пробовал переставлять разные карты в разные райзеры, чтобы исключить косячные райзеры, поменял БП на более мощный, запитал часть карт и райзеров от другого БП, пробовал подключать часть карт не в сплиттер, а прямо в PCI-E 1X или 16X порты - результат один: одновременно система видит только 3 карты + 1 встроенную. 4-ую на райзере не видит ни в какую! Пробовал копаться в биосе, но ничего не накопал: при каких-то настройках система вообще перестаёт грузится пока не отключишь 4-ую карту. В общем, по прежнему нужен дельный совет.

UPD_2

Всё заработало после того, как включил в биосе определение дискретных видеокарт, а не только встроенной.

Вопрос закрыт.

Изменено 19 окт 2017, 16:13 пользователем Nosych
дополнение

Fabryan · 25 окт 2017, 07:58

Привет всем, народ помогите разобраться, че то самому тяжко стало. Я использую systemd в качестве сервиса для работы со скриптами. Суть проблемы, имеется два скрипта start.sh (для запуска майнера) и fan2 (для охлаждения). Если я правильно выключаю/перезагружаю ферму и потом включаю все стартует правильно, все запускается корректно. Но если выключается свет и потом включается то начинает происходить что то не понятное, прилагаю файл лога ниже. Почему то карты при таком старте перстают определятся, в одну из видеокарт воткнут эмулятор монитора. На сколько я понял возможно майнер и охлаждение стартует раньше чем xсессия.
То что у меня в systemd :

m1.service
[Unit]
Description=M1 Script
After=multi-user.target

[Service]
Type=idle
ExecStart=/opt/m1/start.sh

[Install]
WantedBy=multi-user.target

fan1.service

[Unit]
Description=Fan Script
After=multi-user.target

[Service]
Type=simple
ExecStart=/opt/fan/fan2.sh
Restart=always
RestartSec=1

User=fabryan
Group=fabryan

[Install]
WantedBy=multi-user.target

Содержание скриптов:

Майнер

start.sh

#!/bin/bash
/opt/m1/miner --config /opt/m1/miner.cfg

Охлаждение
fan2.sh

#!/bin/bash
#nvidia-xconfig -a --enable-all-gpus
#nvidia-xconfig -a --cool-bits=4

#sleep 30

export DISPLAY=:0

DELAY=5
MIN_TEMP=50
MAX_TEMP=62

CARDS_NUM=`nvidia-smi -L | wc -l`

echo "Found ${CARDS_NUM} GPU(s) : MIN ${MIN_TEMP}°C - ${MAX_TEMP}°C MAX : Delay ${DELAY}s"

for ((i=0; i<$CARDS_NUM; i++))
do
nvidia-settings -a [gpu:$i]/GPUFanControlState=1 > /dev/null
if [ "$?" -ne 0 ]; then
exit 1;
fi
done

echo "GPUFanControlState set to 1 for all cards"

while true
do
echo "$(date +"%d/%m/%y %T")"
for ((i=0; i<$CARDS_NUM; i++))
do
GPU_TEMP=`nvidia-smi -i $i --query-gpu=temperature.gpu --format=csv,noheader`
if [[ $GPU_TEMP < $MIN_TEMP ]]
then
FAN_SPEED=0
elif [[ $GPU_TEMP > $MAX_TEMP ]]
then
FAN_SPEED=100
else
FAN_SPEED=$(( ($GPU_TEMP - $MIN_TEMP)*100/($MAX_TEMP - $MIN_TEMP) ))
fi
nvidia-settings -a [fan:$i]/GPUTargetFanSpeed=$FAN_SPEED > /dev/null
echo "GPU${i} ${GPU_TEMP}°C -> ${FAN_SPEED}%"
done
sleep $DELAY
done

syslog3.txt

Nosych · 25 окт 2017, 09:11

@Fabryan Может соединить 2 скрипта в один, а в нём между командами поставить задержку?

Fabryan · 25 окт 2017, 09:19

Честно говоря, не думал об этом, но мне кажется у этой идеи есть и плюсы и минусы. Я бы хотел более точно понять почему так происходит, по этому и обратился на форум.

Fabryan · 26 окт 2017, 15:44

По традиции, отвечаю сам себе. Подкорректировал службы в systemd после чего провел испытания, по крайней мере на испытаниях все работает.

Майнер
[Unit]
Description=M1 Script

[Service]
ExecStart=/opt/m1/start.sh

Охлаждения
[Unit]
Description=Fan Script

[Service]
Type=simple
ExecStart=/opt/fan/fan2.sh
Restart=always
RestartSec=1

User=fabryan
Group=fabryan

Изменено 26 окт 2017, 15:44 пользователем Fabryan

Fabryan · 7 ноя 2017, 14:02

Все таки пришлось сделать таймер запуска службы.

[Timer]
OnBootSec=10min
Unit=m1.service
[Install]
WantedBy=multi-user.target

#systemctl start m1.timer
#systemctl enable m1.timer

pharux · 9 ноя 2017, 04:05

В 08.09.2017 в 23:02, Torquemada сказал:

В общем, принимайте третью версию ватчдога! С блэкджеком и всем остальным )))

Написан на Python 3, использует только стандартные библиотеки, так что хватит базовой установки Python 3.

Умеет писать красивые логи и отправлять почту. Почта пока настроена только на GMail, дополнительно надо в своем аккаунте включить доступ ненадежных приложений, чтобы проходила отправка почты.

Прошу строго не судить - мои первые попытки программирования ))) Потестите, расскажите, как оно...

cryptowatchdog.py

Наконец попробовал Ваш ватчдог. Отличная штука!

Но не смогли бы Вы подсказать как добавить автоперезагрузку.

Спасибо.

Torquemada · 9 ноя 2017, 10:13

6 часов назад, pharux сказал:

Наконец попробовал Ваш ватчдог. Отличная штука!

Но не смогли бы Вы подсказать как добавить автоперезагрузку.

Спасибо.

Там, где вам необходимо, добавьте такую строку:

softreset = subprocess.Popen(['systemctl', 'reboot'])

pharux · 9 ноя 2017, 16:27

6 часов назад, Torquemada сказал:
Там, где вам необходимо, добавьте такую строку:
softreset = subprocess.Popen(['systemctl', 'reboot'])

Спасибо. Все работает.

Не сразу запустилось. Не мог понять в чем причина. Оказалось все просто : из-за того что я пробелы использую, а Вы табы.

Спасибо ещё раз.

Torquemada · 9 ноя 2017, 16:48

20 минут назад, pharux сказал:

Спасибо. Все работает.

Не сразу запустилось. Не мог понять в чем причина. Оказалось все просто : из-за того что я пробелы использую, а Вы табы.

Спасибо ещё раз.

Ну да, в Питоне отступы крайне важны )))

Не за что! Пользуйтесь.

busurman · 10 ноя 2017, 01:03

Народ, а есть ли тред (или манул какой) об особенностях установки линукса на 6+ видеокарт? ткните носом плиз.

Сейчас работаю над ригом с 6 красными https://forum.bits.media/index.php?/topic/36592-radeon-rx-5/&do=findComment&comment=977259 , как справлюсь (если справлюсь)) буду переходить к ригу с зелеными, где 8 1060-х...

В общем был бы крайне признателен за информацию.

myuriy · 10 ноя 2017, 16:18

14 hours ago, busurman said:

Народ, а есть ли тред (или манул какой) об особенностях установки линукса на 6+ видеокарт? ткните носом плиз.

С nvidia все под никсами сильно проще.

Установка:

# ставишь какой-нибудь Lubuntu 16.04

sudo apt-get update

sudo apt-get install -y software-properties-common python-software-properties
sudo add-apt-repository -y ppa:graphics-drivers/ppa

sudo apt-get update
sudo ubuntu-drivers autoinstall

sudo unlink /etc/X11/xorg.conf
sudo rm -rf /etc/X11/xorg.conf.d
sudo mkdir -p /etc/X11/xorg.conf.d
sudo nvidia-xconfig --allow-empty-initial-configuration --enable-all-gpus --cool-bits=31 -o /etc/X11/xorg.conf.d/20-nvidia.conf

sudo reboot

Разгон

# этот файл ложи в /home/user/oc.sh
#
# добавь пользователя user в sudoers
#
# в крон добавь следующую строку
# @reboot sh /home/user/oc.sh 
#
# обрати внимание на 
# [3] - performance mode для nvidia 1060 / p106, для 1050 это обычное [2]

sudo nvidia-smi -pm 1
sudo nvidia-smi -pl 80

sudo DISPLAY=:0 XAUTHORITY=/var/run/lightdm/root/:0 nvidia-settings -c :0 -a [gpu:0]/GPUPowerMizerMode=1 -a [gpu:0]/GPUMemoryTransferRateOffset[3]=1700 -a [gpu:0]/GPUGraphicsClockOffset[3]=100

sudo DISPLAY=:0 XAUTHORITY=/var/run/lightdm/root/:0 nvidia-settings -c :0 -a [gpu:1]/GPUPowerMizerMode=1 -a [gpu:1]/GPUMemoryTransferRateOffset[3]=1700 -a [gpu:1]/GPUGraphicsClockOffset[3]=100

r9380 · 14 ноя 2017, 10:48

В 10/11/2017 в 23:59, Skylion сказал:

Gtx 1060 (часть МЕ), Linux, 2XM2 + 2 1x4 pci сплиттера.

Проц 4560, 8 (а потом 4Гб)

Решил, я повторить твою конфигурацию, только вот незадача ASUS Z270-p + 2xM2 + 2 1x4 это 14 карт, а не 16 ... Ещё и заморачивалься скрины рисовал ...

Настройка gtx 1060 под Linux

Рекомендуемые сообщения

Ссылка на комментарий

Поделиться на другие сайты

Топ авторов темы

Популярные дни

Топ авторов темы

Популярные дни

Популярные посты

iBaaX

iBaaX

r9380

Изображения в теме

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Ссылка на комментарий

Поделиться на другие сайты

Для публикации сообщений создайте учётную запись или авторизуйтесь

Создать учетную запись

Войти

Последние посетители 0 пользователей онлайн

Similar Topics

Ресурсы

О Форуме

Соц.сети

Почта