[BURST] Burst | PoC

[Roiltoj8]

Долгими размышлениями пришёл к выводу, что файловая система на HDD для майнинга BURST не нужна, т.к занимает очень много бесполезного места. Хотелось бы сразу отформатировать HDD целиком до последнего бита нужными плотсами. Затем создать символьную ссылку на /dev/sdb c нужным именем файла, чтобы скормить его майнеру.

А много это сколько?

Я вижу отношение размера плотов на файловой системе к размеру голого диска (по fdisk) 0.9926.

 

EDIT:

f2fs на весь диск без таблицы разделов: raw 8001563222016, нонсов на 7942334054400,

при том что 100Мб оставлено 'на разное' и файловая система создавалась чтобы оптимизировать производительность записи на Seagate Archive 8Tb.

Вероятно большую часть остатка 0.74% можно тоже поиспользовать, но нафиг надо.

Изменено 25 мая 2017, 21:32 пользователем Roiltoj8

[Oz]

Размеры файловой системы

 

1TB HDD:

Модель: NORELSYS 106X (scsi) // HGST 5K1000-1000
Диск /dev/sdk: 953870 MiB
Размер сектора (логич./физич.): 512B/512B

RAW: 931.51 GiB

 

BTRFS: Свободно 931.51 GiB.  Использовано 112.00 KiB.

 

EXT2: Свободно 916.82 GiB.  Использовано 14.69 GiB.

EXT3: Свободно 915.82 GiB.  Использовано 15.69 GiB.

EXT4: Свободно 915.82 GiB . Использовано 15.69 GiB.

 

REISER4: Свободно 931.48 GiB . Использовано 29.32 MiB

XFS:  Свободно 931.06 GiB. Использовано 465.86 MiB

 

NTFS: Свободно 931.42 GiB.  Использовано 93.56 MiB

 

----

 

Другие файловые системы у меня сейчас ядро не поддерживает...

Изменено 26 мая 2017, 10:24 пользователем OZR
add

[Roiltoj8]

1TB HDD:

Модель: NORELSYS 106X (scsi) // HGST 5K1000-1000
Диск /dev/sdk: 953870 MiB
Размер сектора (логич./физич.): 512B/512B

RAW: 931.51 GiB

 

EXT2: Свободно 916.82 GiB.  Занято 14.69 GiB.

EXT3: Свободно 915.82 GiB.  Занято 15.69 GiB.

EXT4: Свободно 915.82 GiB . Занято 15.69 GiB.

 

NTFS: Свободно 931.42 GiB. Занято 93.56 MiB

 

----

 

Другие файловые системы у меня сейчас ядро не поддерживает...

 

Вы его специально собирали чтобы не поддерживало?

Ядро linux 'из коробки' в любом дистрибутиве поддерживает ну очень много файловых систем.

NTFS в linux это вообще имхо не для майнинга burst ибо вероятно доступ будет через fuse (который в userspace) со всеми вытекающими для производительности.

И к тому же 14.69/931.51 ~= 1.5% это ни в каком смысле не много.

[Oz]

Вы его специально собирали чтобы не поддерживало?

 

Да. 4.11.2-gentoo-r1. Добавлю поддержку остальных при следующем обновлении.

 

И к тому же 14.69/931.51 ~= 1.5% это ни в каком смысле не много.

 

C 1 TB выходит немного. Но 1.5% это 1.5% и _перфекционизм_ . Целых 1.5% используются нерационально. Заноза.

 

[Hostum]

Да. 4.11.2-gentoo-r1. Добавлю поддержку остальных при следующем обновлении.

 

 

C 1 TB выходит немного. Но 1.5% это 1.5% и _перфекционизм_ . Целых 1.5% используются нерационально. Заноза.

 

Опа, мне нужен такой аппарат )))

[Blagodarenko]

@Hostum, ящик без дисков на 45 штук = $2,349.44

либо там же можно скачать чертежи и файлы для 3d-принтера

https://www.backblaze.com/blog/cloud-storage-hardware/

 

подешевле https://www.backuppods.com/collections/backblaze-storage-pod-6-0

Изменено 26 мая 2017, 08:25 пользователем Blagodarenko

[Rabinovitch]

 

 

Seagate archive это SMR диск, поэтому у него по идее плохая производительность на запись не в последовательном режиме.

 

Подтверждаю. Дико медленный диск при генерировании сразу оптимизированных плотсоы Xplotter'ом напрямую...

[Roiltoj8]

Подтверждаю. Дико медленный диск при генерировании сразу оптимизированных плотсоы Xplotter'ом напрямую...

Сколько Мб/c, на какой файловой системе получилось?

[hardstep]

 

 

Подтверждаю. Дико медленный диск при генерировании сразу оптимизированных плотсоы Xplotter'ом напрямую

да, сразу писать на диск получается долго. причем, чем больше файл плота, тем дольше писать.

создаю файлы плотов на 20000 нонсов(4,88ГБ) на SSD и с него копирую на Seagate Archive. такой размер выбрал потому что именно с таким размером получается быстрее. получил свои расчетные ~2ТБ/сутки. Xplotter в direct режиме на i5-2300

в суть не вникал, но если файл плота больше размера свободное оперативы, то скорость создания файлов возрастает.

[Serenych]

Подскажите, старые плоты, размечал ещё при старте монеты, сейчас где-нибудь работают?

[Blagodarenko]

@hardstep, Обладатели SMR еще рекомендуют запускать 3 копии плоттера с разными нонсами, вроде тогда общая скорость примерно равна той, которая и у PMR-дисков. (не проверял)

 

При записи на SSD попробуйте поставить параметр -mem 512m, независимо от количества потоков (должно общее время уменьшиться)

 

@Serenych, Если плоты были созданы для Вашего кошелька (и Вы знаете пароль) - то работают. Если для пула v1 - то нет.

Изменено 26 мая 2017, 12:20 пользователем Blagodarenko

[Roiltoj8]

@hardstep, Обладатели SMR еще рекомендуют запускать 3 копии плоттера с разными нонсами, вроде тогда общая скорость примерно равна той, которая и у PMR-дисков. (не проверял)

Откуда информация?

Основная проблема при записи на SMR (на сколько я понимаю, могу быть неправ) в том что т.н. shingled зоны на диске предпочтительны для записи последовательно целиком (поскольку при записи малой части данных внутри зоны другие данные в зоне повреждаются и должны быть перезаписаны).

Судя по product manual к Seagate Archive 8Tb зоны там 256Mib что существенно большее размера блока типичной файловой системы.

От того что бы будем делать random write в несколько потоков, а не в один вроде ничего лучше стать не должно.

На Seagate Archive 8Tb есть еще 64 non-shingled зоны которые работают как на PRM и используются в качестве 'кэша'.

Вот если запись плотов развалится таким образом что случайная запись будет только в рамках 64*256Mib=16Gib кусков, то да ускорение должно быть.

[Blagodarenko]

@Roiltoj8,https://forums.burst-team.us/topic/5307/how-to-attain-max-nonce-min-plotting-direct-to-smr-drives

я тоже не совсем понимаю почему он утверждает что это быстрее, тем более плоттер использует низкоуровневую запись с адресным выравниванием в памяти и записью по секторам... но спорить не буду, т.к. нет пока на руках драйва для тестов.

Плоттер пишет кусками (64 * 1024 * threads) байт  (по умолчанию 1024 - группа нонсов, если памяти достаточно по 0,5Гб на поток. Если указан -mem, то число это меняется)

Изменено 26 мая 2017, 15:30 пользователем Blagodarenko

[Rabinovitch]

 

 

Сколько Мб/c, на какой файловой системе получилось?

 

NTFS (кластер 16к ЕМНИП), скорость создания плотса раза в два (!) дольше чем. При прочих равных. Xplotter мне не пишет циферки в Мб/с.  :rolleyes:

[Blagodarenko]

У кого линукс и есть SMR диски, протестите пожалуйста это:

 

"Use smartctl -l gplog,0x30,3 to get the raw "Support Capabilities" page

For the 3 types of SMR drives:
DM - Device Managed
    The device may set the zoned field = bits 1:0 = 10b or it may not (most DM drives)... i.e. it's optional and came out long after DM drives were in production
HA - Host Aware - zoned field = bits 1:0 = 01b (Required)
    Has information in the Zoned Device information - Page 09h - Offset 0..7 is non-zero

HM - Host Managed (Type 14) drive - zoned field = bits 1:0 = 00b"

 

http://proft.me/2012/02/10/smartd-monitoring-sostoyaniya-zhestkogo-diska

[djeksoul]

какой GPU майнер посоветуете? и будет ли от него больше производительность чем  от майнинга на CPU

Изменено 26 мая 2017, 17:57 пользователем djeksoul

[Blagodarenko]

@djeksoul, видимо этот https://github.com/de-luxe/burstcoin-jminer/releases , тем более он единственный для ГПУ...

Производительность больше.

[djeksoul]

@djeksoul, видимо этот https://github.com/de-luxe/burstcoin-jminer/releases , тем более он единственный для ГПУ...

Производительность больше.

 Благодарю!!! в личку еще загляните 

[Roiltoj8]

У кого линукс и есть SMR диски, протестите пожалуйста это:

 

"Use smartctl -l gplog,0x30,3 to get the raw "Support Capabilities" page

 

For the 3 types of SMR drives:

DM - Device Managed

    The device may set the zoned field = bits 1:0 = 10b or it may not (most DM drives)... i.e. it's optional and came out long after DM drives were in production

HA - Host Aware - zoned field = bits 1:0 = 01b (Required)

    Has information in the Zoned Device information - Page 09h - Offset 0..7 is non-zero

HM - Host Managed (Type 14) drive - zoned field = bits 1:0 = 00b"

 

http://proft.me/2012/02/10/smartd-monitoring-sostoyaniya-zhestkogo-diska

Что то я не вижу этого по ссылке. Не тот url?

А что там хочется увидеть?

Вывод smartctl -l gplog,0x30,3 <device> это 'hexdump' таблицы, который так просто не поинтерпретируешь.

Seagate Archive 8Tb это Device Managed диск и по мануалу и просто потому что в противном случае он бы требовал нестандартный драйвер.

Изменено 27 мая 2017, 01:15 пользователем Roiltoj8

[r3bz3r]

Как отключить синхронизацию локального кошелька, я не нуждаюсь в нем, и тем более, он время от времени крашится при загрузке, вчера на 93.7% выдало ошибку, мол удалите .db файлы, и перекачайте, это более 12 гб. 

Если отключить синх. нельзя, то как хотя бы перенести этот .db файл на другой винт, а то он по умолчанию пишется на С диск, а там ссд с малым объемом.

[Rabinovitch]

 

 

Обладатели SMR еще рекомендуют запускать 3 копии плоттера с разными нонсами, вроде тогда общая скорость примерно равна той, которая и у PMR-дисков

 

Чёрт его знает... В две копии (t -4 там и там) за полтора часа - 14% (каждого плотса по 111 Гб) ... На WD Red pro плотс большего размера (правда, один, 170 Гб, и при -t 6) создавался за 2.5 часа примерно.

[Roiltoj8]

Чёрт его знает... В две копии (t -4 там и там) за полтора часа - 14% (каждого плотса по 111 Гб) ... На WD Red pro плотс большего размера (правда, один, 170 Гб, и при -t 6) создавался за 2.5 часа примерно.

Получается что последовательность перелить с WD плоты на SMR диск, сделать на WD новые

быстрее чем делать плоты напрямую на SMR диск.

[Blagodarenko]

@r3bz3r,если не нужен кошелек, то не используйте AIO, все необходимое лежит отдельно в папках AIO - майнер, плоттер и кошелек...

[Lenorag]

@hardstep, Обладатели SMR еще рекомендуют запускать 3 копии плоттера с разными нонсами, вроде тогда общая скорость примерно равна той, которая и у PMR-дисков. (не проверял)

 

При записи на SSD попробуйте поставить параметр -mem 512m, независимо от количества потоков (должно общее время уменьшиться)

 

@Serenych, Если плоты были созданы для Вашего кошелька (и Вы знаете пароль) - то работают. Если для пула v1 - то нет.

сразу на 1 диск 3 плота? сейчас пишу на 3 разных по 1Тб и потом скопирую их в один

[hardstep]

 

 

При записи на SSD попробуйте поставить параметр -mem 512m, независимо от количества потоков (должно общее время уменьшиться)

зачем, если по дефолту такой же параметр?

цитирую мануал к xplotter

 

-mem <8G> - [Опционально, по умолчанию = 0.5Гб на каждый поток]