Настройка gtx 1060 под Linux

iBaaX · 19 May 2017, 06:41

Собственно господа линуксойды, поделитесь пожалуйста конфигами xorg.conf и скриптами разгона.

iBaaX · 20 May 2017, 10:42

Никто на линуксе не майнит? :blink:

Ладно я выложу то что у меня есть на данный момент

xorg.conf

Section "ServerLayout"
    Identifier     "Layout0"
    Screen      0  "Screen0"
    Screen      1  "Screen1" RightOf "Screen0"
    Screen      2  "Screen2" RightOf "Screen1"
    Screen      3  "Screen3" RightOf "Screen2"
    Screen      4  "Screen4" RightOf "Screen3"
    InputDevice    "Keyboard0" "CoreKeyboard"
    InputDevice    "Mouse0" "CorePointer"
EndSection

Section "Files"
EndSection

Section "InputDevice"
    # generated from default
    Identifier     "Mouse0"
    Driver         "mouse"
#    Option         "Interactive" "False"
    Option         "Protocol" "auto"
    Option         "Device" "/dev/psaux"
    Option         "Emulate3Buttons" "no"
    Option         "ZAxisMapping" "4 5"
EndSection

Section "InputDevice"
    # generated from default
    Identifier     "Keyboard0"
    Driver         "kbd"
#    Option         "Interactive" "False"
EndSection

Section "Monitor"
    Identifier     "Monitor0"
    VendorName     "Unknown"
    ModelName      "Unknown"
    HorizSync       28.0 - 33.0
    VertRefresh     43.0 - 72.0
    Option         "DPMS"
EndSection

Section "Monitor"
    Identifier     "Monitor1"
    VendorName     "Unknown"
    ModelName      "Unknown"
    HorizSync       28.0 - 33.0
    VertRefresh     43.0 - 72.0
    Option         "DPMS"
EndSection

Section "Monitor"
    Identifier     "Monitor2"
    VendorName     "Unknown"
    ModelName      "Unknown"
    HorizSync       28.0 - 33.0
    VertRefresh     43.0 - 72.0
    Option         "DPMS"
EndSection

Section "Monitor"
    Identifier     "Monitor3"
    VendorName     "Unknown"
    ModelName      "Unknown"
    HorizSync       28.0 - 33.0
    VertRefresh     43.0 - 72.0
    Option         "DPMS"
EndSection

Section "Monitor"
    Identifier     "Monitor4"
    VendorName     "Unknown"
    ModelName      "Unknown"
    HorizSync       28.0 - 33.0
    VertRefresh     43.0 - 72.0
    Option         "DPMS"
EndSection

Section "Device"
    Identifier     "Device0"
    Driver         "nvidia"
#    Option         "Interactive" "False"
    VendorName     "NVIDIA Corporation"
    BoardName      "GeForce GTX 1060 6GB"
    BusID          "PCI:1:0:0"
    Option         "ConnectedMonitor" "DFP-0"
    Option         "CustomEDID" "DFP-0:/etc/X11/Samsung710N.bin"
EndSection

Section "Device"
    Identifier     "Device1"
    Driver         "nvidia"
#    Option         "Interactive" "False"
    VendorName     "NVIDIA Corporation"
    BoardName      "GeForce GTX 1060 6GB"
    BusID          "PCI:2:0:0"
    Option         "ConnectedMonitor" "DFP-0"
    Option         "CustomEDID" "DFP-0:/etc/X11/Samsung710N.bin"
EndSection

Section "Device"
    Identifier     "Device2"
    Driver         "nvidia"
#    Option         "Interactive" "False"
    VendorName     "NVIDIA Corporation"
    BoardName      "GeForce GTX 1060 6GB"
    BusID          "PCI:3:0:0"
    Option         "ConnectedMonitor" "DFP-0"
    Option         "CustomEDID" "DFP-0:/etc/X11/Samsung710N.bin"
EndSection

Section "Device"
    Identifier     "Device3"
    Driver         "nvidia"
#    Option         "Interactive" "False"
    VendorName     "NVIDIA Corporation"
    BoardName      "GeForce GTX 1060 6GB"
    BusID          "PCI:5:0:0"
    Option         "ConnectedMonitor" "DFP-0"
    Option         "CustomEDID" "DFP-0:/etc/X11/Samsung710N.bin"
EndSection

Section "Device"
    Identifier     "Device4"
    Driver         "nvidia"
#    Option         "Interactive" "False"
    VendorName     "NVIDIA Corporation"
    BoardName      "GeForce GTX 1060 6GB"
    BusID          "PCI:6:0:0"
    Option         "ConnectedMonitor" "DFP-0"
    Option         "CustomEDID" "DFP-0:/etc/X11/Samsung710N.bin"
EndSection

Section "Screen"
    Identifier     "Screen0"
    Device         "Device0"
    Monitor        "Monitor0"
    DefaultDepth    24
    Option         "AllowEmptyInitialConfiguration" "True"
    Option         "Coolbits" "12"
    Option         "ConnectedMonitor" "DFP-0"
    Option         "RegistryDwords" "PerfLevelSrc=0x2222"
    SubSection     "Display"
        Depth       24
    EndSubSection
EndSection

Section "Screen"
    Identifier     "Screen1"
    Device         "Device1"
    Monitor        "Monitor1"
    DefaultDepth    24
    Option         "AllowEmptyInitialConfiguration" "True"
    Option         "Coolbits" "12"
    Option         "ConnectedMonitor" "DFP-0"
    Option         "RegistryDwords" "PerfLevelSrc=0x2222"
    SubSection     "Display"
        Depth       24
    EndSubSection
EndSection

Section "Screen"
    Identifier     "Screen2"
    Device         "Device2"
    Monitor        "Monitor2"
    DefaultDepth    24
    Option         "AllowEmptyInitialConfiguration" "True"
    Option         "Coolbits" "12"
    Option         "ConnectedMonitor" "DFP-0"
    Option         "RegistryDwords" "PerfLevelSrc=0x2222"
    SubSection     "Display"
        Depth       24
    EndSubSection
EndSection

Section "Screen"
    Identifier     "Screen3"
    Device         "Device3"
    Monitor        "Monitor3"
    DefaultDepth    24
    Option         "AllowEmptyInitialConfiguration" "True"
    Option         "Coolbits" "12"
    Option         "ConnectedMonitor" "DFP-0"
    Option         "RegistryDwords" "PerfLevelSrc=0x2222"
    SubSection     "Display"
        Depth       24
    EndSubSection
EndSection

Section "Screen"
    Identifier     "Screen4"
    Device         "Device4"
    Monitor        "Monitor4"
    DefaultDepth    24
    Option         "AllowEmptyInitialConfiguration" "True"
    Option         "Coolbits" "12"
    Option         "ConnectedMonitor" "DFP-0"
    Option         "RegistryDwords" "PerfLevelSrc=0x2222"
    SubSection     "Display"
        Depth       24
    EndSubSection
EndSection

Разгон

#!/bin/sh

export DISPLAY=:0
xhost +

# Configure GPU0 PCI:0000:01:00.0
/usr/bin/nvidia-settings -a [gpu:0]/GPUPowerMizerMode=1 -a [gpu:0]/GPUMemoryTransferRateOffset[3]=1750

# Configure GPU1 PCI:0000:02:00.0
/usr/bin/nvidia-settings -a [gpu:1]/GPUPowerMizerMode=1 -a [gpu:1]/GPUMemoryTransferRateOffset[3]=1800

# Configure GPU2 PCI:0000:03:00.0
/usr/bin/nvidia-settings -a [gpu:2]/GPUPowerMizerMode=1 -a [gpu:2]/GPUMemoryTransferRateOffset[3]=1500

# Configure GPU3 PCI:0000:05:00.0
/usr/bin/nvidia-settings -a [gpu:3]/GPUPowerMizerMode=1 -a [gpu:3]/GPUMemoryTransferRateOffset[3]=1750

# Configure GPU4 PCI:0000:06:00.0
/usr/bin/nvidia-settings -a [gpu:4]/GPUPowerMizerMode=1 -a [gpu:4]/GPUMemoryTransferRateOffset[3]=1800

rc.local

for i in 0 1 2 3
  do
  nvidia-smi -i $i -pm 1
  nvidia-smi -i $i -pl 70
done

nvidia-smi -i 4 -pm 1
nvidia-smi -i 4 -pl 80

Edited 20 May 2017, 22:06 by iBaaX

iBaaX · 20 May 2017, 22:04

fan_control.sh

#!/bin/bash

export DISPLAY=:0

NUM_CARDS=5
NS="/usr/bin/nvidia-settings"

while true
do
for ((i=0; i<$NUM_CARDS;i++))
{
    GPU_TEMP=`nvidia-smi -i $i --query-gpu=temperature.gpu --format=csv,noheader`
    FAN_SPEED=`nvidia-smi -i $i --query-gpu=fan.speed --format=csv,noheader,nounits`
    if (($GPU_TEMP < 55)); then
        (($GPU_TEMP!=$FAN_SPEED)) && $NS -a [gpu:$i]/GPUFanControlState=1 -a [fan-$i]/GPUTargetFanSpeed=$GPU_TEMP > /dev/null 2>&1
    else
        if (($GPU_TEMP < 65)); then
            let "TARGET_FAN_SPEED=GPU_TEMP+10"
            (($TARGET_FAN_SPEED != $FAN_SPEED)) && $NS -a [gpu:$i]/GPUFanControlState=1 -a [fan-$i]/GPUTargetFanSpeed=$TARGET_FAN_SPEED > /dev/null 2>&1
        else
            let "TARGET_FAN_SPEED = GPU_TEMP + 20"
            (($TARGET_FAN_SPEED != $FAN_SPEED)) && $NS -a [gpu:$i]/GPUFanControlState=1 -a [fan-$i]/GPUTargetFanSpeed=$TARGET_FAN_SPEED > /dev/null 2>&1
        fi 
    fi
}

sleep 10
done

UR_Quan · 20 May 2017, 22:13

Схоронил.

конфигами xorg.conf

Эм, а зачем на добывающей иксы? Все ж и так работает.

поделитесь

У дяди на бикоинталке есть кой-чего, c кулбитс и поэтессами.

iBaaX · 20 May 2017, 22:48

Схоронил.

Эм, а зачем на добывающей иксы? Все ж и так работает.

У дяди на бикоинталке есть кой-чего, c кулбитс и поэтессами.

Без Х-сов нельзя управлять видеокартами(разгон, кулеры)

subw · 20 May 2017, 22:55

Без Х-сов нельзя управлять видеокартами(разгон, кулеры)

да, это эпический фэйл учитывая что майнить можно

на какой версии драйвера работает разгон/управление фанами? раньше вроде не работало

iBaaX · 20 May 2017, 23:14

да, это эпический фэйл учитывая что майнить можно

на какой версии драйвера работает разгон/управление фанами? раньше вроде не работало

на 375 и выше точно работает

MakcTim · 31 May 2017, 07:30

Добрый день, подскажите куда копать, подключены 2 видеокарты, 750 TI и 1060, к 750 подключен монитор, дрова поставил cuda тоже , майнер видит их и работает, nvidia-settings тоже определяет, но дает разогнать только 1 видеокарту 750, если подключить 2 карту через nvidia-settings с подключенным 2 м монитором то после перезагрузки нигде нет изображения, просто черный экран, если удалить Screen 1 "Screen1" RightOf "Screen0" то иксы грузятся но соответственно не подтягивается Option "Coolbits" "12" и не дает разгонять карточку.

iBaaX · 31 May 2017, 08:44

Добрый день, подскажите куда копать, подключены 2 видеокарты, 750 TI и 1060, к 750 подключен монитор, дрова поставил cuda тоже , майнер видит их и работает, nvidia-settings тоже определяет, но дает разогнать только 1 видеокарту 750, если подключить 2 карту через nvidia-settings с подключенным 2 м монитором то после перезагрузки нигде нет изображения, просто черный экран, если удалить Screen 1 "Screen1" RightOf "Screen0" то иксы грузятся но соответственно не подтягивается Option "Coolbits" "12" и не дает разгонять карточку.

xorg.conf в студию

MakcTim · 31 May 2017, 09:04

Вот такой рабочий xorg получился под RFremix 25

Section "ServerLayout"
    Identifier     "Layout0"
    Screen      0 "Screen0" 0 0
    Screen      1 "Screen1" RightOf "Screen0"
    InputDevice    "Keyboard0" "CoreKeyboard"
    InputDevice    "Mouse0" "CorePointer"
    Option         "Xinerama" "0"
EndSection

Section "Files"
    FontPath        "/usr/share/fonts/default/Type1"
EndSection

Section "InputDevice"

    # generated from default
    Identifier     "Mouse0"
    Driver         "mouse"
    Option         "Protocol" "auto"
    Option         "Device" "/dev/input/mice"
    Option         "Emulate3Buttons" "no"
    Option         "ZAxisMapping" "4 5"
EndSection

Section "InputDevice"

    # generated from default
    Identifier     "Keyboard0"
    Driver         "keyboard"
EndSection

Section "Monitor"

    # HorizSync source: edid, VertRefresh source: edid
    Identifier     "Monitor0"
    VendorName     "Unknown"
    ModelName      "MTK LCDTV"
    HorizSync       15.0 - 80.0
    VertRefresh     49.0 - 76.0
    Option         "DPMS"
EndSection

Section "Monitor"

    # HorizSync source: unknown, VertRefresh source: unknown
    Identifier     "Monitor1"
    VendorName     "Unknown"
    ModelName      "BBK TV"
    HorizSync       0.0 - 0.0
    VertRefresh     0.0
    Option         "DPMS"
EndSection

Section "Device"
    Identifier     "Device0"
    Driver         "nvidia"
    VendorName     "NVIDIA Corporation"
    BoardName      "GeForce GTX 750 Ti"
    BusID          "PCI:1:0:0"
EndSection

Section "Device"
    Identifier     "Device1"
    Driver         "nvidia"
    VendorName     "NVIDIA Corporation"
    BoardName      "GeForce GTX 1060 3GB"
    BusID          "PCI:2:0:0"
    Option         "ConnectedMonitor" "DFP-0"
    Option         "CustomEDID" "DFP-0:/etc/X11/edid.bin
EndSection

Section "Screen"
    Identifier     "Screen0"
    Device         "Device0"
    Monitor        "Monitor0"
    DefaultDepth    24
    Option         "Stereo" "0"
    Option         "metamodes" "nvidia-auto-select +0+0"
    Option         "SLI" "Off"
    Option         "MultiGPU" "Off"
    Option         "BaseMosaic" "off"
    Option         "Coolbits" "12"
    SubSection     "Display"
        Depth       24
    EndSubSection
EndSection

Section "Screen"
    Identifier     "Screen1"
    Device         "Device1"
    Monitor        "Monitor1"
    DefaultDepth    24
    Option         "Stereo" "0"
    Option         "metamodes" "nvidia-auto-select +0+0"
    Option         "SLI" "Off"
    Option         "MultiGPU" "Off"
    Option         "BaseMosaic" "off"
    Option         "Coolbits" "12"
    Option         "ConnectedMonitor" "DFP-0"
    SubSection     "Display"
        Depth       24
    EndSubSection
EndSection

Edited 31 May 2017, 11:49 by MakcTim

iBaaX · 31 May 2017, 17:36

1. Это бред, выставь хотя бы цыфры от первого монитора HorizSync 0.0 - 0.0 VertRefresh 0.0

2. У тебя вообще этот файл есть /etc/X11/edid.bin ?

3. Option "CustomEDID" "DFP-0:/etc/X11/edid.bin в конце кавычки нехватает

4. В секции Screen добавь строчку Option "AllowEmptyInitialConfiguration" "True"

MakcTim · 1 Jun 2017, 04:47

Спасибо помогло. Да файл сгенерировал, единственное что еще "Coolbits" поставил в "28" иначе по питанию ограничение не поднималось.

pelbmehb · 3 Jun 2017, 13:51

Собственно господа линуксойды, поделитесь пожалуйста конфигами xorg.conf и скриптами разгона.

А можно Вас попросить вашу сборку линукса выложить? я не очень силен в линухе, так только по поверхности скольжу, если бы Вы сборкой поделились и пару советов дали, я бы криптой Вас отблагодарил. собираюсь 16 карт 1060 настраивать.

iBaaX · 3 Jun 2017, 16:44

А можно Вас попросить вашу сборку линукса выложить? я не очень силен в линухе, так только по поверхности скольжу, если бы Вы сборкой поделились и пару советов дали, я бы криптой Вас отблагодарил. собираюсь 16 карт 1060 настраивать.

Сборки нет, ставится стандартная Ubuntu 16.04 и дальше подкручиваются скрипты, которые я выше выложил

В принципе если будут проблемы в настройке пишисюда, помогу, ну или по тимвьеверу могу помочь

UR_Quan · 4 Jun 2017, 14:59

попросить вашу сборку

У меня есть исошка для флехи, но она без иксов. Нужна? Сквошфс для pxe почти готов, надо только init напильником доработать. А так - да, бери минимал и вперед.

Edited 4 Jun 2017, 15:00 by UR_Quan

BobbyBibob · 5 Jun 2017, 17:29

Здравствуйте. Установил ubuntu 16.04, настроил доступ по ssh. При попытке запустить nvidia-settings по ssh ругается:

Invalid MIT-MAGIC-COOKIE-1 keyxhost:  unable to open display ":0"
Invalid MIT-MAGIC-COOKIE-1 keyFailed to connect to Mir: Failed to connect to server socket: No such file or directory
Unable to init server: Could not connect: Connection refused

Видимо это из-за того что X-server не запущен. Как можно обойти такую проблему?

xorg.conf

# nvidia-xconfig: X configuration file generated by nvidia-xconfig
# nvidia-xconfig:  version 375.66  (buildmeister@swio-display-x86-rhel47-06)  Mon May  1 15:45:32 PDT 2017

Section "ServerLayout"
    Identifier     "Layout0"
    Screen      0  "Screen0"
    InputDevice    "Keyboard0" "CoreKeyboard"
    InputDevice    "Mouse0" "CorePointer"
EndSection

Section "Files"
EndSection

Section "InputDevice"
    # generated from default
    Identifier     "Mouse0"
    Driver         "mouse"
    Option         "Protocol" "auto"
    Option         "Device" "/dev/psaux"
    Option         "Emulate3Buttons" "no"
    Option         "ZAxisMapping" "4 5"
EndSection

Section "InputDevice"
    # generated from default
    Identifier     "Keyboard0"
    Driver         "kbd"
EndSection

Section "Monitor"
    Identifier     "Monitor0"
    VendorName     "Unknown"
    ModelName      "Unknown"
    HorizSync       28.0 - 33.0
    VertRefresh     43.0 - 72.0
    Option         "DPMS"
EndSection

Section "Device"
    Identifier     "Device0"
    Driver         "nvidia"
    VendorName     "NVIDIA Corporation"
    BoardName      "GeForce GTX 1060 3GB"
    BusID          "PCI:1:0:0"
    Option         "ConnectedMonitor" "DFP-0"
#    Option         "CustomEDID" "DFP-0:/etc/X11/Samsung710N.bin"
EndSection

Section "Screen"
    Identifier     "Screen0"
    Device         "Device0"
    Monitor        "Monitor0"
    DefaultDepth    24
    Option         "Coolbits" "12"
    Option         "ConnectedMonitor" "DFP-0"
    Option         "AllowEmptyInitialConfiguration" "True"
    SubSection     "Display"
        Depth       24
    EndSubSection
EndSection

iBaaX · 5 Jun 2017, 17:53

Здравствуйте. Установил ubuntu 16.04, настроил доступ по ssh. При попытке запустить nvidia-settings по ssh ругается:

Invalid MIT-MAGIC-COOKIE-1 keyxhost:  unable to open display ":0"
Invalid MIT-MAGIC-COOKIE-1 keyFailed to connect to Mir: Failed to connect to server socket: No such file or directory
Unable to init server: Could not connect: Connection refused

Видимо это из-за того что X-server не запущен. Как можно обойти такую проблему?

xorg.conf

# nvidia-xconfig: X configuration file generated by nvidia-xconfig
# nvidia-xconfig:  version 375.66  (buildmeister@swio-display-x86-rhel47-06)  Mon May  1 15:45:32 PDT 2017

Section "ServerLayout"
    Identifier     "Layout0"
    Screen      0  "Screen0"
    InputDevice    "Keyboard0" "CoreKeyboard"
    InputDevice    "Mouse0" "CorePointer"
EndSection

Section "Files"
EndSection

Section "InputDevice"
    # generated from default
    Identifier     "Mouse0"
    Driver         "mouse"
    Option         "Protocol" "auto"
    Option         "Device" "/dev/psaux"
    Option         "Emulate3Buttons" "no"
    Option         "ZAxisMapping" "4 5"
EndSection

Section "InputDevice"
    # generated from default
    Identifier     "Keyboard0"
    Driver         "kbd"
EndSection

Section "Monitor"
    Identifier     "Monitor0"
    VendorName     "Unknown"
    ModelName      "Unknown"
    HorizSync       28.0 - 33.0
    VertRefresh     43.0 - 72.0
    Option         "DPMS"
EndSection

Section "Device"
    Identifier     "Device0"
    Driver         "nvidia"
    VendorName     "NVIDIA Corporation"
    BoardName      "GeForce GTX 1060 3GB"
    BusID          "PCI:1:0:0"
    Option         "ConnectedMonitor" "DFP-0"
#    Option         "CustomEDID" "DFP-0:/etc/X11/Samsung710N.bin"
EndSection

Section "Screen"
    Identifier     "Screen0"
    Device         "Device0"
    Monitor        "Monitor0"
    DefaultDepth    24
    Option         "Coolbits" "12"
    Option         "ConnectedMonitor" "DFP-0"
    Option         "AllowEmptyInitialConfiguration" "True"
    SubSection     "Display"
        Depth       24
    EndSubSection
EndSection

nvidia-settings надо запускать из под пользователя, ты по-ходу из под root запускал

BobbyBibob · 5 Jun 2017, 18:20

nvidia-settings надо запускать из под пользователя, ты по-ходу из под root запускал

Запускал от обычного пользователя.

iBaaX · 5 Jun 2017, 18:26

Запускал от обычного пользователя.

Тогда Х-сервер не запущен, а без него никак, причем на всех установленных картах

Edited 5 Jun 2017, 18:26 by iBaaX

Shevchik · 5 Jun 2017, 18:34

nvidia-xconfig --enable-all-gpus --allow-empty-initial-configuration --cool-bits=31

Выполнять по ssh без подключённых мониторов, само всё сконфигурирет.

pelbmehb · 5 Jun 2017, 21:35

Сборки нет, ставится стандартная Ubuntu 16.04 и дальше подкручиваются скрипты, которые я выше выложил

В принципе если будут проблемы в настройке пишисюда, помогу, ну или по тимвьеверу могу помочь

Понял спасибо, помощь безвозмездной не останется, есть возможность дать какой нб контакт свой, для более оперативной связи? почту или телеграмм.

У меня есть исошка для флехи, но она без иксов. Нужна? Сквошфс для pxe почти готов, надо только init напильником доработать. А так - да, бери минимал и вперед.

спасибо, попробую сам ручками все таки сначала, лучше самому во всем разобраться! как будет получаться - отпишу, может все таки и попрошу у Вас исошку

dartus · 17 Jun 2017, 17:07

Подскажите, выставил значения разгона как на винде 200 ядро, 680 память, но по частотам не дотягивает до нужных значений, по ядру через пару секунд нагрузки падает до 2098 (на виндах стабильно 2164) По хэшрейту еще печальнее, на винде ~320s/s в лине ~305. Драйвер 375.66, (гоню через gui) конфиги не трогал, только coolbits прописал 31. Такой разгон нормален для линукса, или можно выжать как на винде?

Edited 17 Jun 2017, 17:09 by dartus

iBaaX · 17 Jun 2017, 21:12

Подскажите, выставил значения разгона как на винде 200 ядро, 680 память, но по частотам не дотягивает до нужных значений, по ядру через пару секунд нагрузки падает до 2098 (на виндах стабильно 2164) По хэшрейту еще печальнее, на винде ~320s/s в лине ~305. Драйвер 375.66, (гоню через gui) конфиги не трогал, только coolbits прописал 31. Такой разгон нормален для линукса, или можно выжать как на винде?

что за gui?

dartus · 17 Jun 2017, 21:49

@iBaaX, NVIDIA X Server Settings

rip_curl · 19 Jun 2017, 10:46

Всем привет,

немного непонятно, настройки разгона необходимо запускать (разгон) непосредственно с клавиатуры с фермы?

по ссх получится? у меня проблема в том, что nvidia settings пишет что не может подключиться к ИКСам (connection refused)

Убунта серверная. Хорг стоит.

Настройка gtx 1060 под Linux

Recommended Posts

Top Posters In This Topic

Popular Days

Top Posters In This Topic

Popular Days

Popular Posts

iBaaX

iBaaX

r9380

Posted Images

Create an account or sign in to comment

Create an account

Sign in

Recently Browsing 0 members

Similar Topics

Ресурсы

О Форуме

Соц.сети

Почта