Неуловимая перезагрузка фермы.

[cleopoison]

Добрый день коллеги. Имеем:

 

1. RX 580 8 gb - 2 шт;

2. RX 580 4 gb - 2 шт;

3. RX 480 8 gb - 1 шт;

4. FX 4330

5. GA-970F-DS3P

6. Chieftec GDP-750C- 2 шт.

7. ОЗУ - 4 Gb/

 

Разгон такой:

 

-cclock 1167
-mclock 2250,2070,2070,2150,2150
-powlim 50
-cvddc 920

 

Виртуальная память 16000-20000

 

Работала стабильно около 2-3 недель, затем начала уходить в перезагрузку в разные моменты времени примерно 1-2 раза в сутки. Причем после перезагрузки отваливалась 1 карта 580 8GB, то есть система ее не видела пока полностью не обесточишь ферму и включишь вновь.

Ну думаю, проблема в ней, разгон не держит, перепробовал и частоты менять и по ядру играть, бесполезно. Плюнул на нее, вытащил вчера из фермы, воткнул в системник, опять выставил указанные частоты, о чудо, за сутки ни одного отвала, но вот основная ферма вывалилась после 16 часов работы, причем опять отвал GPU, но уже 2 штуки.

 

Сегодня зачистил журналы в системе, буду искать ошибки в системе, думается проблема не в GPU.

 

Есть мысли у кого в какую сторону копать или может быть у кого-то была подобная ситуация?

Edited 6 Dec 2017, 04:51 by cleopoison

[e46btc]

@cleopoison в описании не увидел что пишет клеймор в логе...

[cleopoison]

1 минуту назад, e46btc сказал:

@cleopoison в описании не увидел что пишет клеймор в логе...

Ничего, просто лог обрывается.

[e46btc]

Только что, cleopoison сказал:

просто лог обрывается.

Питание ИМХО.

 

Кстати на тему Чифтеков, было несколько А-135, все сдохли за 1.5 года. Не по вашей теме, конечно, но тем не менее.

[МамкинКриптоБизнесмен]

@cleopoison Предполагаю - питание. Я бы сделал:

- поглядел вырубается ли ферма без нагрузки;

- снижал бы количество карт, и бп;

У мну были оборванные логи клеймора, было связано с бп, вентилятор не держал обороты, и при нагрузке вырубался, без обесточки не запускался, без нагрузки зато спокойно работал.

[cleopoison]

Почистил журналы винды, жаль не глядя, жду опять отвала. Если в журналах будет kernel power 41 буду ковырять БП.

Вообще развязка была такая: система/райзеры/+1 GPU на одном блоке и 4 GPU на другом. Все это кушало порядка 1кВт в дуале.

[sergt200]

@cleopoison  посмотри рейзера, контакты на бп, на предмет подгорелостей

[cleopoison]

2 минуты назад, sergt200 сказал:

@cleopoison  посмотри рейзера, контакты на бп, на предмет подгорелостей

Вчера все просмотрел, все в норме.

[Uliss]

57 минут назад, cleopoison сказал:

Есть мысли у кого в какую сторону копать или может быть у кого-то была подобная ситуация?

 

Обрыв лога - однозначно ребут по питанию. Возможно, что при переходе сети на утро-день и день-вечер и перераспределении мощностей сети происходят провалы в питании и БП тупо отрубают PG с материнки. Как вариант, убрать разгон и протестить.

Можно сваять на ардуинке минимальный вольтметр и поставить с логированием.

Или виртуальный на звуковухе - понизить питание трансом до допустимого уровня и мерить напругу.

[f_rostt]

БП отстой, таких в своё время куча сдохла

[andromed]

с каким алго трудимся ?

[Rastishka]

4 часа назад, cleopoison сказал:

Добрый день коллеги. Имеем:

-mclock 2250,2070,2070,2150,2150
Есть мысли у кого в какую сторону копать или может быть у кого-то была подобная ситуация?

Ставь им 1900 всем и тести. Потом будешь думать.

[Delicious]

Всегда советую одно и то же.

При любой непонятной ситуации - замените Блок Питания на нормальный, серверный.

99% попаданий.

[cleopoison]

6 минут назад, Rastishka сказал:

Ставь им 1900 всем и тести. Потом будешь думать.

2250 это 480 на самсунге, она их держит, она больше год стояла одиноко в корпусе, стибилити 2250 (исключительный экземпляр попася тогда).

 

Пока убрал дуал, еще приду проверю напругу  +12 на обоих блоках, на первом ребуте посмотрю что пишет в логах системы и уберу до 1900. Пока жду.

2 часа назад, andromed сказал:

с каким алго трудимся ?

eth+dcr

2 часа назад, f_rostt сказал:

БП отстой, таких в своё время куча сдохла

Гвозди забивал? Сочувствую.

8 минут назад, Delicious сказал:

Всегда советую одно и то же.

При любой непонятной ситуации - замените Блок Питания на нормальный, серверный.

99% попаданий.

99% попаданий......пальцем в жопу.

[cleopoison]

3 часа назад, Uliss сказал:

 

Обрыв лога - однозначно ребут по питанию. Возможно, что при переходе сети на утро-день и день-вечер и перераспределении мощностей сети происходят провалы в питании и БП тупо отрубают PG с материнки. Как вариант, убрать разгон и протестить.

Можно сваять на ардуинке минимальный вольтметр и поставить с логированием.

Или виртуальный на звуковухе - понизить питание трансом до допустимого уровня и мерить напругу.

Конкретно эта ферма трудилась сначала в офисе потом на балконе, обрывы были и там и тут, хотя остальные ведут себя нормально.

 

Все крепче заседает мысль что основной блок **бет мне мозг.

[Rastishka]

4 минуты назад, cleopoison сказал:

Конкретно эта ферма трудилась сначала в офисе потом на балконе, обрывы были и там и тут, хотя остальные ведут себя нормально.

 

Все крепче заседает мысль что основной блок **бет мне мозг.

Поменяй блоки местами, сними дуал. У меня так было, что не тянул ТТ 650w - тоже крашилась в дуале (3шт 470-х + мать). Перекинул 1 видяшку на другой БП и норм стало.

У меня подключено 2 видяхи + мать = 550вт, 3 видяхи =750вт, блоки корсар

[Delicious]

4 часа назад, cleopoison сказал:

99% попаданий......пальцем в жопу.

Любите-с пальчиком где не надо поковырять?

Заметно! Иначе бы стоял серверный Б.П. 

[cleopoison]

@Delicious балкон в квартире, выход через спальню, окошко постоянно открыто так как жарко. Еще объяснять? Ах ну да можно же купить "тихие" серверники, ну или сделать их "тихими", нет уж, дома ни каких серверников, в гараже, кладовке, подвале, серверной, пожалуйста, дома нет и еще раз нет.

 

Засунь себе в жопу свой совет олень.

 

[cleopoison]

@e46btc @Rastishka @Uliss Проблема найдена, на ведомом блоке при нагрузке в 450 ватт напряжение 12,3 , а на ведущем уже на 300 ваттах в 11.9, на 400 уже 11,7, дальше ребот системы.

 

Блок ужел в СЦ, проверил на еще 2х, все в норме, 12,1 и 12,2 на 500 ваттах.

[Uliss]

@cleopoison  5в на обеих подгрузи.

[cleopoison]

53 минуты назад, Uliss сказал:

@cleopoison  5в на обеих подгрузи.

Все райзеры 4пин, разве там 5в не берется?Или этого не достаточно?

[Uliss]

17 минут назад, cleopoison сказал:

Все райзеры 4пин, разве там 5в не берется?Или этого не достаточно?

 

Да по идее достаточно... А ты как измерял?

На картах или на модуле? Сравни эти 2 точки по напряжению.

[cleopoison]

@Uliss потребление мерил на БП под нагрузкой с помощью MY-65 на розетке + клещи EM202, вольтаж этим же мультиметром на свободных хвостах 6pin.

Сравнить уже не получится, блок в СЦ отвез.

Замена ведущего блока питания + перестройка схемы питания решили все вопросы, уже почти сутки на дуале все нормально.

Сейчас ведущий = мама и остальное +2 карты с райзерами

Ведомый = 3 карты с райзерами

[Delicious]

Итак, подведём итоги:

В 06.12.2017 в 07:51, cleopoison сказал:

Работала стабильно около 2-3 недель, затем начала уходить в перезагрузку в разные моменты времени примерно 1-2 раза в сутки.

Тебе через 5 часов дали правильный ответ:

В 06.12.2017 в 12:07, Delicious сказал:

При любой непонятной ситуации - замените Блок Питания

Но ты вместо того, чтобы воспользоваться советом, продолжал шаманить с бубном и танцами, успев перейти на оскорбления.

В итоге, ты сам себя наказал на 42 часа профита.

В 08.12.2017 в 06:46, cleopoison сказал:

Замена ведущего блока питания + перестройка схемы питания решили все вопросы, уже почти сутки на дуале все нормально.

Спокойнее нужно реагировать, когда люди пытаются решить твою проблему.

Изначально, они тебе ничем не обязаны, и помогают добровольно.

Хотя-бы за это их можно уважать.

Удачи.

[cleopoison]

@Delicious ахаха это ты то мне тут помогал????? Я людей уважаю, тех которые помогают реальными советами, а не дают советов "если сломалась машина, замени ее на новую", а тех что дают подобные советы посылаю и буду посылать.

 

Давай досвидания помошник не доделаный.

 

Ах да, замени свой универсальный совет на :"при любой непонятной ситуации замени риг полность" ты стаким советом не на 99 процентов а на 100 процентов попадать будешь.

Edited 9 Dec 2017, 17:40 by cleopoison