Jump to content
Alex Trawnik

SSD для блокчейна. И не только.

Recommended Posts

 

50 minutes ago, Old Miner said:

 разработчик рекомендует помещать только chainstate на SSD, а всё остальное держать на HDD. Chainstate занимает мало места, но при этом интенсивно используется.

 

- "Пасиба, учител!" (c) Камеди клаб. Нет, - чесслово, без троллинга: реально плюсанул.

 

Однако, думаю, что большинству нынешних донов крипто-анонов - вся эта наука будет без надобности, поскольку большинство из них, - даже банальное:

 

... CoinCore-QT.exe -datadir=D:\TipaKatalog\VotTut

 

применить на практике будет едва ли в состоянии.

 

1 hour ago, Old Miner said:

Благородным донам, не могущим себе позволить большие SSD

 

- "А сегодня, в завтрашний день, не все могут смотреть... Вернее смотреть могут не только лишь все - мало кто может это делать!" (с) Нетленка от Виталика.

 

В общем, цены на 500 ГБ HDD и 480 ГБ SSD - ныне с разницей всего-то в 800 руб. (2500 руб. за 500 ГБ HDD vs 3300 руб. за 480 ГБ TLC SSD)

 

В секторе носителей на 1 ТБ - ситуация похуже - 2800 руб. за 1 ТБ HDD vs 6800 руб. за 960 ГБ SSD... Однако, следует понимать, что цены на SSD быстро падают, а вот HDD уже "отступать некуда - позади Москва Себестоимость Производства".

 

Наращивание массового выпуска 96-слойной 3D TLC NAND дополнительно снизит цены, причём существенно, - будьте в этом уверены.

 

HDD-vs-SSD-500-GB.png

Share this post


Link to post
Share on other sites
7 часов назад, Alex Trawnik сказал:

Несмотря на казалось бы, колоссальную разницу в скоростях интерфейсов NVMe и крайнего SATA... М.б. тепловой  тротлинг? NVMe накопители этим регулярно больны...

При чем здесь скорость интерфейса, если в него не упираемся?

И показателями линейной скорости чтения/записи можно мериться долго, но она мало где по факту нужна. А вот скорости рандомного доступа и работы с мелкими блоками данных решают. Тут даже самые тормозные ssd выигрывают на порядки у hdd, потому на низ и запускается все быстрее и блокчейн синхронизируется, даже при проигрыше в линейных скоростях. (Эх, было время 64 гб ssd хватало на систему и полный блокчейн битка).

 

6 часов назад, Alex Trawnik сказал:

Кстати, а давайте замутим отдельную тему с размерами блокчейнов монет?

Никто не запрещает. Но кто следить за актуальностью будет? 

Share this post


Link to post
Share on other sites

 

35 minutes ago, polym0rph said:

Причем здесь скорость интерфейса, если в него не упираемся? 

 

- Мы о какой задаче сейчас говорим? О той что на ютюбовском видео выше (запуск Винды и массивных приложений) - или о хранении блокчейна для холодных "полных" кошельков?

 

P.S. Заметьте - вопрос о скорости интерфейса поднял не я, просто был вот восторженный отзыв о Биткоин Кор на NVMe-накопителе (насколько я смог понять). Причём непонятно - только ли программная часть Кора была на M.2 NVMe размещена, или же весь блокчейн.

 

37 minutes ago, polym0rph said:

А вот скорости рандомного доступа и работы с мелкими блоками данных решают. Тут даже самые тормозные ssd выигрывают на порядки у hdd, потому на них и запускается все быстрее и блокчейн синхронизируется

 

- Никто не спорит, здесь всё очевидно. Изначально, мною предполагалось обсудить вопрос надёжности самых недорогих TLC SSD как "народных" и "массовых" устройств для хранения блокчейна. "Новая парадигма", так сказать... Но к сожалению, обсуждение пошло по принципу "кто в лес, кто по дрова"... NVMe SSD почему-то всплыли - хотя их бы, сугубо под Систему и Приложения (ну а если второй разъём M.2 PCie есть в наличии - или же есть желание понавтыкать PCIe-M.2 переходников в слоты матери, к примеру - тогда и под своповый / браузерный кэш... Фотошоп кэш любит на отдельном диске, опять же...)...

 

Я Вам скажу проще: я совершил совершенно ТУПОЙ поступок... :biggrin: Я просто взял и прикупил себе самый дешманский Gigabyte GP-GSTFS31480GNTD на 480 ГБ, - девайс, упрощенный настолько, что он обходится даже без DRAM-кэша, с ресурсом записи на 200 TBW. Не под колд-валлетовский блокчейн, нет, - под рабочие файлы из видеоредактора, объёмом в среднем несколько сот мегабайт каждый... Ну так вот, что я сказать пытаюсь: по опыту своей предыдущей работы - я знаю, что в день (в сутки) креативлю в среднем на 11 ГБ (записанного на диск)... То есть, обещанного производителем ресурса записи в 200 терабайт - должно мне хватить на (200 000 ГБ / 11 ГБ) = 18 181 день производительной работы... Это примерно 50 лет службы, и это на дешманском SSD  - прикольно, правда?

 

А теперь внимание - "вопрос к Знатокам": работа с полным блокчейном Биткоин Кор - чем-то отличается, в плане объёмов записи на диск, от моего креатива на 11 ГБ в сутки? Сколько конкретно ресурса записи в сутки, кушает холодный полный кошелёк Биткоин?

 

1 hour ago, polym0rph said:

Но кто следить за актуальностью будет? 

 

- В формате записи будет проставлена дата, к примеру:

 

- Bitcoin (BTC) - размер блокчейна 222 ГБ на 22.06.2019

- Binarium (BIN) - размер блокчейна 1 ГБ на 11.06.2019

 

Считаю, что более-менее регулярно обновлять инфу  В ПЕРВОМ ТОПИКЕ ТЕМЫ - будет вполне достаточно. Ну скажем, раз в месяц или даже раз в 2 месяца - или же, по мере поступления инфы от форумящихся, в личку автора темы.

 

P.S. Тут актуальный вопрос другой, скорее - как избавится от шиткоинов и не загадить тему избыточной инфой о гуанофорках... Брать в список только самое лучшее, самое актуальное для рынка, короче.

 

Share this post


Link to post
Share on other sites
7 часов назад, Alex Trawnik сказал:

давайте замутим отдельную тему с размерами блокчейнов монет?...............Было уже или нет?

https://forum.bits.media/index.php?/topic/52991-сколько-сейчас-весят-кошельки-ethbtcltc/

 

7 часов назад, Alex Trawnik сказал:

- Монета (ТИКЕТ) -

может быть всё-таки "тикеР"

Share this post


Link to post
Share on other sites

@Pavel3x3y3z Зпасиба. Но тема, как-то померла в "октябре 17-го" - и надо бы, в самое первое сообщение темы, всё-таки актуализированную табличку, регулярно пихать.

 

Как это обычно и делается.

 

13 hours ago, Pavel3x3y3z said:

может быть всё-таки "тикеР"

 

- Да, именно. Спасибо.

 

Edited by Alex Trawnik

Share this post


Link to post
Share on other sites
1 минуту назад, Alex Trawnik сказал:

- Мы о какой задаче сейчас говорим? О той что на ютюбовском видео выше (запуск Винды и массивных приложений) - или о хранении блокчейна для холодных "полных" кошельков?

По скорости интерфейса не думаю что мы упремся в обоих сценариях.

 

6 минут назад, Alex Trawnik сказал:

Я просто взял и прикупил себе самый дешманский Gigabyte GP-GSTFS31480GNTD

Часто экспериментирую с полными нодами, взял в рейд пару Samsung 860 EVO (V-NAND), т.к. на hdd неделями ждать синхронизации не вариант. В виртуалках там ставлю, мучаю и сношу полные клиенты,  частая история, что несколько криптовалют синхронизируются одновременно. Около года полет нормальный, хотя понятно что это за накопители. Но для экспериментов PRO-шки брать смысла не вижу. Сдохнут раньше срока - пойдут по гарантии.

 

5 минут назад, Alex Trawnik сказал:

Зпасиба. Но тема, как-то померла в "октябре 17-го" - и надо бы, в самое первое сообщение темы, всё-таки актуализированную табличку, регулярно пихать. 

@Alex Trawnik Готов этим заниматься? Могу сделать владельцем того топика.

Share this post


Link to post
Share on other sites
3 minutes ago, polym0rph said:

Готов этим заниматься?

 

- Да, готов. Но потребуется поступление инфы от людей - у самого из колдваллетов только Бинариум и Ентен.

 

Также, желательна политика Администрации относительно того, какие крипты туда постим - дабы не загромождать, а то за деревьями леса потом не увидишь - 2324 крипты уже сегодня, на КМК...

 

Share this post


Link to post
Share on other sites
37 минут назад, Alex Trawnik сказал:

Также, желательна политика Администрации относительно того, какие крипты туда постим - дабы не загромождать, а то за деревьями леса потом не увидишь - 2324 крипты уже сегодня, на КМК...

  

Добавляем в порядке по капитализации, например, так все массово интересные криптовалюты будут наверху.

У данных об объемах рядом в скобках пишем дату, когда правка вносилась, чтобы было понятно на какое число эти данные актуальны были.

Права выдал, первую строку для примера сделал.

Share this post


Link to post
Share on other sites
3 часа назад, Alex Trawnik сказал:

P.S. Заметьте - вопрос о скорости интерфейса поднял не я, просто был вот восторженный отзыв о Биткоин Кор на NVMe-накопителе (насколько я смог понять). Причём непонятно - только ли программная часть Кора была на M.2 NVMe размещена, или же весь блокчейн.

 

Послушайте )) Я уже не в том возрасте, чтобы дрочить в присядку и загружать  винду с секундомером, как в видосе выше, я уже давным-давно во все это наигрался.  

 

Если что-то не понятно - самое простое это взять и спросить.  

Купил один из самых быстрых (бытовых и доступных по деньгам) NVMe накопителей на 480 гигов, вставил в комп, поставил на него Коре клиент и на нем же весь блокчейн, иначе зачем вообще стоило покупать быстрый диск?  Кончится 500 гигов, куплю на 1 ТБ.   И я пользуюсь им очень активно, в том числе время от времени ресканы кошельков, а не просто вкючаю раз в неделю блоки подгрузить.

 

Заранее покупать на 1-2 ТБ абсолютно бессмысленно конкретно для этой цели, новые технологии и скорости растут намного быстрее, чем я забиваю диски, точно так же и цена на новые диски стремительно падает.

 

И да, не лепите везде M.2 SATA, M.2 NVMe, еще только осталось начать указывать 2260, 2280 для полного абсурда.

Скорость одной и той же модели SSD диска с SATA интерфейсом будет точно такая же в любом форм факторе, хоть 2.5 дюйма хоть M.2

Так же как и скорость одного и того же накопителя  NVMe будет одинакова, хоть вставить его в M.2 разъем с поддержкой PCI-E (без поддержки просто не заработает), хоть в слот PCI-E используй родной адаптер, например, у Кингстона есть такая комплектация (про алиэкспрессные поделки ничего не могу сказать).

Поэтому слова "SATA" и "NVMe" однозначно определяют тип интерфейса диска и предмет разговора в контексте SSD.

Edited by e46btc

Share this post


Link to post
Share on other sites
10 hours ago, e46btc said:

... загружать  винду с секундомером...

 

- ... иногда полезно. :wink:

 

9 hours ago, e46btc said:

Купил один из самых быстрых (бытовых и доступных по деньгам) NVMe накопителей на 480 гигов, вставил в комп, поставил на него Коре клиент и на нем же весь блокчейн

 

- Надо было всё-таки пробежаться по ценам и по ТТХ (тем более что спеки на сайтах производителей - в свободном доступе, чаще всего в банальном .pdf) - с тем, чтобы выбрать девайс, наиболее подходящий по соотношению производительность-надёжность / стоимость. Так я обычно делаю, перед всякой более-менее крупной покупкой для себя, любимого. :biggrin:

 

Тем более, что накопители с интерфесом MVMe (Non-Volatile Memory X-press :biggrin:)  - часто "прессуют" своих владельцев тем, что уходят в тепловой троттлинг, при всяких более-менее длительных нагрузках... Ну "горячие" на них контроллеры пока, ну что поделаешь... Массивный пассивный радиатор на качественном (читать: более дорогом) NVMe-накопителе - довольно частое явление.

 

P.S. Никого учить уму-разуму - не намерен, исхожу из принципа, что "каждый - сам кузнец своего Щастья". Просто делюсь инфой и озвучиваю точку зрения.

 

Share this post


Link to post
Share on other sites
4 минуты назад, Alex Trawnik сказал:

Надо было всё-таки пробежаться по ценам и по ТТХ

Какие-то странные советы и странные выводы, я нигде и не писал, что я не выбирал или не читал ТТХ, и не писал что я тупо пришел с баблом в магазин и сказал "мне самый быстрый и самый дорогой!".  Суть сообщения в том, что не обязательно пересмотреть весь ютуб, не обязательно купить самый дешевый ("оптимальный по соотношению"), можно просто купить проверенный и качественный и не тратить свое время на разные компромиссные поделки, а просто радоваться жизни.

 

14 минут назад, Alex Trawnik сказал:

Тем более, что накопители с интерфесом MVMe (Non-Volatile Memory X-press :biggrin:)  - часто "прессуют" своих владельцев тем, что уходят в тепловой троттлинг, при всяких более-менее длительных нагрузках... Ну "горячие" на них контроллеры пока, ну что поделаешь... Массивный пассивный радиатор на качественном (читать: более дорогом) NVMe-накопителе - довольно частое явление.

Вероятно, это очень достоверная и авторитетная информация.  Кстати недавно смотрел в ютубе классные ролики - рекомендую.  

- "Какой хлеб купить, чтобы меньше крошился в руках?"

- "Какой оптимальный размер зеленого яблока?  А если оно красное?"

- "Как быстро остывает в холодильнике бутылка пива 0.5 по сравнению с полторашкой?"

 

13 минут назад, Alex Trawnik сказал:

Просто делюсь инфой и озвучиваю точку зрения.

Точно так же. Зачем-то вы меня в чем-то пытаетесь переубеждать, не очень понятно зачем.

У меня нет проблемы выбора диска и мне не требуется совет, какой накопитель купить в следующий раз, это мне и так известно.

 

Share this post


Link to post
Share on other sites
12 часов назад, e46btc сказал:

в том числе время от времени ресканы кошельков, а не просто вкючаю раз в неделю блоки подгрузить.

Может кто-нибудь из владельцев SSD случайно засекал время, необходимое для досинхрона, например за месяц или 2 недели? Поделитесь.

У меня на HDD на синхронизацию за последний месяц чуть больше часа уходит, стоит ли вообще на SSD переходить?

Share this post


Link to post
Share on other sites

Биржа\Обменник\Высоконагруженный криптовалютный сервис? У меня в домашних условиях всё стоит на HDD Seagate Archive 8tb. Может в самый первый раз синхронизация идёт долго. Только она уже была сделана чёрт знает сколько лет назад. И сейчас только переодическая дозапись по времени блока, т.е синхронизировать то особо и нечего. Запись происходит аж целый один раз за всё время жизни диска, ведь в блокчейне данные не изменяются... У меня нет криптовалютных сервисов, необходимости хранить блокчейны на SSD ни разу не возникало.
 

Quote

- Да, готов. Но потребуется поступление инфы от людей - у самого из колдваллетов только Бинариум и Ентен.

 

Надо не заниматься. А с постоянно работающего сервера где есть все блокчейны выполнить du -b /wallets/bitcoin/data ... И автоматическую выгрузку в табличку на сайт.

 

Edited by Oz

Share this post


Link to post
Share on other sites
28 minutes ago, Oz said:

А с постоянно работающего сервера где есть все блокчейны выполнить du -b /wallets/bitcoin/data ... И автоматическую выгрузку в табличку на сайт.

 

- Это к скриптописателям и Администрации форума.

 

Share this post


Link to post
Share on other sites
17 часов назад, polym0rph сказал:

Часто экспериментирую с полными нодами

есть какие нибудь интересные наблюдения или выводы?

 

Абсолютно не вижу смысла хранить блокчейн на ссд. Как уже выше писали.достаточно перенести chainstat на твердый носитель

Но на NVMe засматриваюсь) Сейчас еще у amd pcie 4.0 выходит...

 

Но это все игры. Для bitcoin core + electrumx сервера hdd хватает. Разумеется с переносом chainstate на ssd

Share this post


Link to post
Share on other sites

 

14.07.2019 в 11:57, Lexis77 сказал:

Кто мне сможет объяснить связь заголовка топика с тестами на кол-во перезаписи?

Тестов продолжительности хранения записанной инфы - нет нигде, а постоянно перекачивать ноду - это идиотизм.

 

Более того, ни на один из перечисленных в тестах SSD не влезет вся цепочка, если увеличить объем, до минимально-требуемых 400-500Гб, то соответственно и ресурс вырастет так же в почти два раза, посколько почти повсеместно используется распределение циклов записи по ячейкам.

Поищу завтра на работе ссылку на исследования - время хранения данных на ссд в зависимости от температуры и времени без наличия питания. Там исследования были серверных ssd

Share this post


Link to post
Share on other sites
15.07.2019 в 21:12, vernichter сказал:

Может кто-нибудь из владельцев SSD случайно засекал время, необходимое для досинхрона, например за месяц или 2 недели? Поделитесь. 

 

Синхронизация около 1600 блоков за крайние 11 дней, i5-7500, далеко уже не самый свежий Kingston KC1000 480GB, тот же 970 Evo Plus ощутимо быстрее, но и с обычным SATA SSD его не сравнить.

 

+ txindex

 

Скрытый текст
.....
2019-07-14T10:33:43Z UpdateTip: new best=00000000000000000018576919ec54c47c2aa97f7166ef70ae710ce13d75f241 height=585361 version=0x20800000 log2_work=90.84552 tx=434889180 date='2019-07-14T10:33:30Z' progress=1.000000 cache=179.2MiB(1351032txo) warning='46 of last 100 blocks have unexpected version'
2019-07-14T10:33:50Z UpdateTip: new best=00000000000000000002b32c8c931bd6f0cb182d4d3071b805f0986f3e4fcb80 height=585362 version=0x20000000 log2_work=90.845545 tx=434889633 date='2019-07-14T10:34:01Z' progress=1.000000 cache=179.1MiB(1350368txo) warning='45 of last 100 blocks have unexpected version'
2019-07-14T10:52:45Z UpdateTip: new best=00000000000000000003f3f86f46459817c106484dcdf30546ffb0a9fd017403 height=585363 version=0x20800000 log2_work=90.84557 tx=434892358 date='2019-07-14T10:52:12Z' progress=1.000000 cache=179.7MiB(1354930txo) warning='46 of last 100 blocks have unexpected version'
2019-07-14T11:26:02Z Shutdown: In progress...
2019-07-14T11:26:03Z Shutdown: done
.....
2019-07-25T04:02:19Z Bitcoin Core version v0.18.0 (release build)
2019-07-25T04:02:20Z Assuming ancestors of block 0000000000000000000f1c54590ee18d15ec70e68c8cd4cfbadb1b4f11697eee have valid signatures.
2019-07-25T04:02:20Z Setting nMinimumChainWork=0000000000000000000000000000000000000000051dc8b82f450202ecb3d471
2019-07-25T04:02:20Z Using the 'sse4(1way),sse41(4way),avx2(8way)' SHA256 implementation
2019-07-25T04:02:28Z Loaded best chain: hashBestChain=00000000000000000003f3f86f46459817c106484dcdf30546ffb0a9fd017403 height=585363 date=2019-07-14T10:52:12Z progress=0.992215
.....
2019-07-25T04:12:25Z UpdateTip: new best=000000000000000000115867946e42bc88fd6ac4567b268759d7981f532231eb height=586904 version=0x20400000 log2_work=90.883928 tx=438304566 date='2019-07-25T03:30:44Z' progress=0.999979 cache=564.5MiB(4140394txo) warning='42 of last 100 blocks have unexpected version'
2019-07-25T04:12:25Z Pre-allocating up to position 0x1200000 in rev01732.dat
2019-07-25T04:12:25Z UpdateTip: new best=00000000000000000005395633a1a165c3e13e098da0fa1f83288217e3d9264f height=586905 version=0x20000000 log2_work=90.883953 tx=438307479 date='2019-07-25T03:43:12Z' progress=0.999985 cache=565.2MiB(4145872txo) warning='42 of last 100 blocks have unexpected version'
2019-07-25T04:12:25Z New outbound peer connected: version: 70015, blocks=586905, peer=12
...

 

 

Итого 10 минут (2019-07-25T04:02:19Z - 2019-07-25T04:12:25Z), вероятно, можно грубо прикиниуть что 1 день 1 минута, но вряд ли это справедливо для всех блоков, но каким-то образом можно прикинуть.  Да и обычная синхронизация не самый активный процесс, это не очень показательно. Например, rescan и reindex напрягает накопитель намного интенсивнее.

 

 

15.07.2019 в 21:12, vernichter сказал:

У меня на HDD на синхронизацию за последний месяц чуть больше часа уходит, стоит ли вообще на SSD переходить?

 

Смотря насколько вас напрягает медленная синхронизация.  Если некуда торопиться и можно запустить заранее, то переходить нет смысла.

Имеет смысл что-то менять только если что-то не устраивает в текущей конфигурации ИМХО.  Или просто для удовольствия и знания, что теперь у тебя SSD ))

Share this post


Link to post
Share on other sites

Еще немного статистики для любителей секундомеров )

Поднял еще одну полную ноду на не очень свежем сервере, база + txindex на SATA HDD, chainstate на SATA SSD, тоже на не самом свежем.  Полная синхронизации 2019-07-31T13:10:07Z - 2019-08-01T00:20:23Z , итого 11 часов.  Неплохо бы и txindex класть на SSD, но я сэкономил 30 Гб, а для обычного "домашнего" пользователя txindex вообще не нужен.

Share this post


Link to post
Share on other sites

А нам, Маководам, укушенное яблоко просто не оставило выбора :) - NVMe SSD и всё! - за что ему огромное спасибо! Особенно это всё в ноутах актуально - где харды были от рождения тормознутой дрянью, увы. А сейчас благодаря современным скоростным интерфейсам - можно уже NVMe "флешку" сделать за более-менее разумные деньги - наконец под USB 3.1 появились адаптеры (2 года назад только под M.2 SATA были - и там всё упиралось именно в интерфейс накопителя), сейчас - можно максимальную для порта выжимать, а в случае Thunderbolt 3 - уже и для NVMe - внешний накопитель работает со скоростью впаянного - это просто чудо на фоне не такого большого времени назад. Минус - всё, что объёмнее 1Tb - стоит совсем неразумных денег, адаптеры на TB3 тоже адски дороги пока (100 баксов против, кажестя, 20 за USB 3.1).

 

Ну а в подвал/на антресоль сервак с хардами 6-10-12Тб в массиве и на аппаратном контроллере - и ежедневные бекапы (в тот же Мак благо это встроено "искаропки"). Ибо мрут без возможности восстановления эти SSD иногда... Так что если гигабайтные 4K видосы не монтировать - то 1Tb SSD - более чем.

 

ЗЫ: ещё бы 5G запустили побыстрее или с 4G лимиты на скорость поснимали - ваще красота будет. А то вся синхронизация упирается в аплинк...

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...