LTC ферма 35MHash/s + (WorkLog)

[Ult]

Цель мероприятия:

 

После запуска и отладки иметь полный удалённый контроль.

Отбить вложения.

Продажа актива.

 

--------------------------------------------------------------

25 января

Ресурсы людей: 3 человек.

Привезли оборудование.

Покупка стеллажей, стяжек и других мелочей которые не купили предварительно.

Распаковка оборудования, более 100 коробок, чтобы сохранить товарный вид каждой коробки.

Планирование и проектирование.

Сборка стелажей

 

Планировали сперва так.

остановились на таком варианте.

 

26 января

Ресурсы людей: 2 человек.

Продолжение сборки стелажей.

Расстановка оборудования.

Разведение витой пары.

Подключение оборудование.

Подготовка райзеров(распил на 75 райзеров и пайка) и параллели на БП.

 

--------------------------------------------------------------

Работы велись с 10-22часов.

--------------------------------------------------------------

27 января

Ресурсы людей: 1 человек.

Продолжение подготовки райзеров(распил на 75 райзеров и пайка)

Проверка подключённого оборудования

 

 

 

--------------------------------------------------------------

Работы велись с 10-22часов.

--------------------------------------------------------------

--------------------------------------------------------------

1 февраля

Ресурсы людей: 3 человек.

Установка вытяжки.

Переделывание стеллажей 3*3 и установка оборудования.

 

--------------------------------------------------------------

Работы велись с 10-22часов.

--------------------------------------------------------------

2 февраля

Ресурсы людей: 2-3 человек.

Ящик для втяжки воздуха(чтобы не летел снег и вода в помещение)

Установка софта.

 

--------------------------------------------------------------

Работы велись с 10-22часов.

--------------------------------------------------------------

3 февраля

Ресурсы людей: 1 человек.

Запуск первых ферм.

Почему не запустили всё сразу?

Потому что клонированный винт не даёт гарантию того, что ферма запустится и будет майнить как положено.

Можно клонировать винт, поставить, а ВК просто не определится и итогом чего может стать просто не запуск винды.Может пропасть сеть и много других мелочей которые вы просто не ожидаете, вы можете потратить час на выяснения причины.

Итог на 3 февраля

 

 

Почему windows8 на ферме, а не windows7.

Сперва на ферме была windows7 но после потери целых суток в отладке( и человек-ресурс) перешли на windows8

Ответ здесь и не решённый ссылка (тема старая)

 

 

Сейчас до субботы хотим увеличить сечение райзеров и подготовить харды.

 

--------------------------------------------------------------

Работы велись с 10-22часов.

--------------------------------------------------------------

 

 

####################################################################################

Если бы я писал книгу, то эту главу я назвал "Не полная мощность"

 

8 февраля

7 февраля у нас не майнило ни одной фермы.

С чем то просто пропала связь, какие просто не выдержав нагрузку просто отвалились.

Мы особо не ставили целью сохранить те ресурсы которые подняли на прошлой недели, а проводили различные тесты удалённо.

 

Цель: поднять все фермы достигнув стабильной работы.

 

Ресурсы людей: 2 человека.

 

Один весь день перепаивал райзеры, второй поднимал фермы и разбираться почему пропали фермы с онлайна.

На райзерах,при детальном изучении, был плохо припаен молекс, что стало причиной ухода фермы в офлайн.

На одной из ферм hdd вышел из строя, ну и так далее.

На всех райзерах припаивался медный проводок на молекс, ранее был припаян алюминиевый, что визуально очень сложно отличить. По факту мой партнёр весь день перепаивал молексы, объём 30шт. (2+3=5 видеокарт на ферму).

Разбираем третий стеллаж и добавляем полку второму стеллажу.

Я в своё время поднимал одну за другой ферму, ставя на перезагрузку по заданию на каждых 6 часов, начиная с 0:00.

В БИОС прописывая загрузку на каждый день на 7 часов.

На все фермы не хватает вентиляторов, с утра решаем объехать магазины и купить десяток вентиляторов.

 

День завершён положительно

--------------------------------------------------------------

Работы велись с 10-20часов.

--------------------------------------------------------------

9 февраля

 

Ресурсы людей: 2 человека.

 

С утра объёзжаем магазины и наблюдаем такую картину или ветиляторов нет(продавцы говорят не сезон) или просто дорого, 600 рублей за вентилятор. В Москве я покупал их по 185 рублей. Решаем покупать в москве в течении недели.

Поднимаем оставшиеся фермы. На двух фермах умирают харды, находим б/у и клонируем на акронис, теряя кучи времени так как акронис отказывается клонировать и за побитой структуры диска на который клонируем.

Фермы на которых нет вентиляторов(6 ферм) уменьшаем интенсивность до 13-15 и делаем выхлоп в 350-380kh/s.

Вентиляция на вдув и выдув работает на минимуме, температура в комнате не более 20 градусов. при работающих 14 фермах.

На улице "-2 градуса".

Переставляем стеллажи, перенаправляем потоки воздуха.

На одну из ферм не хватает одного райзера  и необходим hdd

 

Протестировали перезагрузку. Все фермы поднимаются хорошо после перезагрузки.

Температура видеокарт 58-75 градусов, в зависимости от охлаждения.

 

Пытаемся вытащить видеонаблюдение в интрернет(что-то не срастается), не хватает знаний как пробросить порт и какой на winroute. Сделаем возможно удалённо. Устанавливаем ip-камеру d-link для просмотра в облаке что всё хорошо.

 

 

 

--------------------------------------------------------------

Работы велись с 11-21:30 часов.

--------------------------------------------------------------

 

На 10 февраля картина и мы уже входим уверено в топ 13 на пуле give-me-coins.com

11 февраля на DOGE pool.dogechain.info

---------------------------------------------------------------------------------------

 

 

 

Из софта на ферме.

windows8,

cgminer,

cgwatcher,

teamviewer,

батники и конфиги.

 

Из софта на сервере

windows7,

teamviewer,

winroute,

Расшаренная папка с дровами и софтом для обмена.

 

 

Из наблюдений:

-- Ничего нельзя ложить среди ферм(обжимники, стяжки, кусачки и так далее) иначе можно просто потерять.

-- Если думаешь что сделаешь что-то быстро то умножай время на 3

-- Обязательно делать передышку хотя бы раз в час иначе накосячите
-- Чем больше ферм тем сложнее, чем кажется на первый взгляд

-- При длительной работе устаёшь не только физически но и морально.

 

Из обязательного:

-- Припаевать сечение провода на молекс от райзера как можно больше.

-- Если собрали ферму, не включайте сразу как подали ток на БП, если БП более 2шт.

 

 

 

 

 

3 фазы, 2 кондея, 10 винтиляторов.(есть но не установлено).

В наличии видео наблюдение(Ещё не стоит, будет трансляция).

Райзеры есть, готовим пока.

Как запустим, выложу фотографию уже полностью собранного.

Ну и так далее.

Описывать объём работы и тонкости просто не вижу смысла.

Ферма будет расширятся, площадь и мощность позволяет.

Территория охраняемая.

Помещение 25метров

В комментах писали что площадь маловата и кондеев недостаточно.

Видимо кондеи будем докупать и делать вытяжку и поступление отдельным потоком воздуха, но только после запуска и анализа того,что имеем в наличии.

 

hardware:

GA-780T-D3L - стоит пока 16(есть ещё в наличии) цены

AMD Athlon II X2   цены

Kingston KVR1333D3N9/4G цены

 

БП - 750w(чифтеки) 800w(энчансы) 1200 термалтейки, всё золото.

hdd цены

Zalman CNPS90F цены

Видеокарт около 75 штук, в основном r9 270x, будем докупать после запуска.

 

 

 

Инфраструктура:

Вытяжка на улицу.

Вытяжка с улицы.

Счётчик.

 

Электрики не подключают 3 фазы для физических лиц, только для юриков и ИП и только в нежилое помещение.

Как сделать чтобы у Вас было 3 фазы и вы платили как физ лицо:

Для этого необходимо протянуть в нежилое помещение 3 фазы, как для юридического лица.

Перевести помещение в жилое и стать физиком.

Перезаключить договор с электриками для оплаты как физическому лицу и настоять(проплатить взятку) чтобы электрики в это время не отрубили 3 фазы.

Чтобы не было вопросов мы платим как юрики по плавающий тарифу. Для каждой области и района он свой и зависит от многих факторов.

 

 

Рекомендации:

Если вы задумали поднимать фермы такого масштаба как я или больше, подумаёте хорошо, надо ли оно Вам и хватит ли тех. знаний чтобы преодолеть все нюансы  при продумывании и проектировании, а так же при закупках оборудования.

При проектировании этой фермы даже при моём высшем техническом образовании и дипломе программиста я так же обращался к людям которые съели не одну собакуна этом).

При этом стоит учитывать, что одному поднять подобное очень сложно, я в свою очередь поднимаю не один и участвует  около 4 активных людей не считая консультантов.Так же стоит заметить, что если Вы всё же возьмётесь за подобное, то Вам необходимо обладать неким финансовым запасом, чтобы при необходимости вы могли найти скажем 50к денег на оборудование.

Так же таким консультантом могу Выступить я, но моё время очень дорогое и стоит денег или же могу посоветовать igorgan1983 в роли консультанта, тоже не за бесплатно. Но только при объёме ферм от 10-15 и более иначе нет смысла.

Это для тех у кого есть деньги, но они не знают, что с ними делать и как правильно ими распорядиться.

 

 

 

 

Общее

 

 

 

Продолжение здесь:  https://forum.bits.media/index.php?/blog/126/entry-219-ferma-35mhashs-worklog-15-16-fevralia/

Изменено 17 фев 2014, 07:27 пользователем Ult

[ivan2yandexru]

@Ult,

 

подскажи какая площадь помещения? кондиционеры запущены? насколько прохладно с ними при майнинге?

[Гость ddr533]

@Ult,

 

подскажи какая площадь помещения? кондиционеры запущены? насколько прохладно с ними при майнинге?

Летом этой ферме не выжить в таком помещении с таким охладом :(

[Ult]

Летом этой ферме не выжить в таком помещении с таким охладом :(

Два кондея, но рассчитанные каждый на помещение в 30кв. м.

Кондеи мобильные, смотрите внимательно на фото.

На форточки будем ставить вытяжки, окна будут закрываться зеркальной плёнкой.

Изменено 12 фев 2014, 12:19 пользователем Ult

[tzen]

 

Летом этой ферме не выжить в таком помещении с таким охладом :(

Два кондея, но рассчитанные каждый на помещение в 30кв. м.

Кондеи мобильные, смотрите внимательно на фото.

На форточки будем ставить вытяжки, окна будут закрываться зеркальной плёнкой.

 

Кстати кому интересно, на против помещения которого я снимаю, сдаётся другое помещение большего размера, примерно 44 кв.м за 22к рублей.

 

сорри, маленькое помещение даже при наличии двух мобильных кондеев (хоть 4), а так все красиво +5

[Ult]

сорри, маленькое помещение даже при наличии двух мобильных кондеев (хоть 4), а так все красиво +5

А как в серверных?

Серверная комната не такая большая, но за счёт кондеев охлаждается всё оборудование.

По мере расширение после запуска кондиционирование будем увеличивать (жизнь покажет)

[SergeyNNN]

 

 

Вот одна из моих ферм :-) Вроде ничего так получилось, можно строить этажи наверх :-)

 

Было бы интересно по железу расклад.

[zexis]

 

Кстати кому интересно, на против помещения которого я снимаю, сдаётся другое помещение большего размера, примерно 44 кв.м за 22к рублей.

 

 

Сколько там кВт подведено питания?

Сколько цена за кВт?

[Гость ddr533]

 

сорри, маленькое помещение даже при наличии двух мобильных кондеев (хоть 4), а так все красиво +5

А как в серверных?

Серверная комната не такая большая, но за счёт кондеев охлаждается всё оборудование.

По мере расширение после запуска кондиционирование будем увеличивать (жизнь покажет)

 

В серверных на таких площадях не выделяется столько тепла.

Под вашу ферму на такой площади надо ставить промышленную приточку и вытяжку.

Летом, с учётом ваших кондеев, вы сможете охлаждать ферму на 7 кватт МАКСИМУМ.

Советую уже сейчас подыскивать более подходящее помещение. Хотя....с учётом того, что скриптовые асики уже в продаже, может более целесообразно искать не помещение, а покупателей на это железо  :D

Изменено 29 янв 2014, 08:29 пользователем ddr533

[Uliss]

Два кондея, но рассчитанные каждый на помещение в 30кв. м.

Кондеи мобильные...

30м² - это с производительностью по холоду 3.5КВт или 12000BTU - 2х кондиционеров явно не достаточно для 75 карт по 200Вт мощности = 15КВт. Примерная суммарная мощность охлаждения для такой фермы = 22-25Квт

 

Обратите внимание на Electrolux EACM-14 DR/N3 (4.1КВт или 14000BTU), у него есть возможность подключения к 2 воздуховодам для притока и выброса тех. воздуха (охлаждение радиатора кондиционера) забор воздуха извне и вывода горячего воздуха из охлаждаемого помещения.

 

ИМХО - охлаждать такое помещение растратное и бестолковое занятие - нужно размещать карты в отдельной охлаждаемой области и подводить охлаждение непосредственно к ним и отвода горячего отработанного воздуха из помещения. Необходимо разделять холодные и горячие потоки для эффективного использования кондиционеров. Летом будет гораздо выгодней охлаждать забортный воздух  Т +25-30^оС, чем внутренний, прогретый до +45-55^оС и выше. И обязательно предусмотреть летний/зимний режимы с переключением забора-выброса воздуха.

Лучше воспользоваться помощью профф. инженера-вентиляционщика в проектировании охлаждения помещения.

Ваш вариант размещения позволяет выделить карты в отдельный блок для подачи охлаждения и отвода тепла.

[Ult]

 

Два кондея, но рассчитанные каждый на помещение в 30кв. м.

Кондеи мобильные...

30м² - это с производительностью по холоду 3.5КВт или 12000BTU - 2х кондиционеров явно не достаточно для 75 карт по 200Вт мощности = 15КВт. Примерная суммарная мощность охлаждения для такой фермы = 22-25Квт

 

Обратите внимание на Electrolux EACM-14 DR/N3 (4.1КВт или 14000BTU), у него есть возможность подключения к 2 воздуховодам для притока и выброса тех. воздуха (охлаждение радиатора кондиционера) забор воздуха извне и вывода горячего воздуха из охлаждаемого помещения.

 

ИМХО - охлаждать такое помещение растратное и бестолковое занятие - нужно размещать карты в отдельной охлаждаемой области и подводить охлаждение непосредственно к ним и отвода горячего отработанного воздуха из помещения. Необходимо разделять холодные и горячие потоки для эффективного использования кондиционеров. Летом будет гораздо выгодней охлаждать забортный воздух  Т +25-30^оС, чем внутренний, прогретый до +45-55^оС и выше. И обязательно предусмотреть летний/зимний режимы с переключением забора-выброса воздуха.

Лучше воспользоваться помощью профф. инженера-вентиляционщика в проектировании охлаждения помещения.

Ваш вариант размещения позволяет выделить карты в отдельный блок для подачи охлаждения и отвода тепла.

Будет видно.

 

 

Ваш вариант размещения позволяет выделить карты в отдельный блок для подачи охлаждения и отвода тепла.

Тоже продумывали такой вариант.

 

 

 

да кстати, уже запустили пару таких.... ценник приемлем 10000kh/s = 140тр

 

Ссылку можно. Продавать не планируем.

Изменено 29 янв 2014, 09:14 пользователем Ult

[creed]

хорошая ферма)

сколько нужно киловатт для такой фермы?

Изменено 29 янв 2014, 19:27 пользователем creed

[ZakharN]

Неэффективное расходование средств налицо)

[Ult]

хорошая ферма)

сколько нужно киловатт для такой фермы?

Уже подсчитали без нас на 15 кВт ))

Мощности есть в наличии, нам отдельно провели 3 фазы и отдельно устанавливали электрику.

Помещение искали недели две.

 

Неэффективное расходование средств налицо)

Есть такое )

Через дорогу строительный рынок где можно купить почти всё,что необходимо для строительства.

По мелочам бегали раз в 3 часа, то переносок не хватает, то припой закончился, то гофру для кондея не купили, то уголка не хватило и так далее.

 

В стойку на самом деле можно поставить 12 ферм если добавить между стеллажами ещё стеллаж, но пока оставили так. Стелажи планируем сразу так что их можно было транспортировать и передвигать без проблем.

 

Об успехах предприятия узнаем из газет :D

Не афишируем где находимся )

Изменено 12 фев 2014, 12:20 пользователем Ult

[AlexShul]

Об успехах предприятия узнаем из газет :D

P.S. Очень интересно было бы ФЭМку (финансово-экономическую модель) посмотреть

Изменено 29 янв 2014, 19:35 пользователем AlexShul

[scyber]

Очень интересно что получится в итоге.

По моей информации в Нижнем новгороде на этой недели отгрузка 280х порядка 600 единиц вот будет ферма. так ферма.

 

 

запустить то удалось что работает в итоге ?

 

на молексах отдельное питание делали?

Изменено 29 янв 2014, 20:57 пользователем Uliss

[sanka]

Если элекричество аренда охрана и карты достались бесплатно то таки да, иначе хз

[Ult]

запустить то удалось что работает в итоге ?

1-5 февраля будем запускать, сейчас пришлось проект заморозить на 4 дня.

на молексах отдельное питание делали?

Да, обязательно.

Там отдельная тема.

Молексы забыли в Москве, искали после по всему городу, оказалось что их можно взять с видеокарт и это после того как опустошили все магазины в округе с молексами ))

 

 

Если элекричество аренда охрана и карты достались бесплатно то таки да, иначе хз

элекричество - 4.25р

аренда 12000р

инет 1000р

На этом всё.

Изменено 29 янв 2014, 19:43 пользователем Ult

[sidorov]

как по мне карты слишком близко друг к другу

надо по 10 см делать расстояние - намного проще и дешевле будет охлаждать

[temrus63]

.

Изменено 17 янв 2017, 13:40 пользователем temrus63

[scyber]

Затея на 5 млн рублей , сейчас затянется на месяца ибо оборудования нет, ненайдут они негде еще 500 видюх, последнии видюхи забирали в питере на той недели 300 единиц r9 280x

.

 

главное что бы к тому времени не появились майнеры.

[Razore]

как по мне карты слишком близко друг к другу

надо по 10 см делать расстояние - намного проще и дешевле будет охлаждать

да, карты очень близко, лучше стеллажи добавить, а карты развести

[ZakharN]

Хотя дел. В общем, сопутствующие расходы велики. Придется вам наращивать мощности для выхлопа.

Изменено 29 янв 2014, 20:02 пользователем ZakharN

[Ult]

Придется вам наращивать мощности для выхлопа.

Так и будем делать.

Сейчас в планах запустить что есть

[subw]

выбор карт тоже фейл - на них через пару месяцев вентиляторы поумирают