[SC] Siacoin | blake2b | Туманное хранилище

[Alex Sanasol Aksent'ev]

200 хостов за раз сканирует, на это уходит всего около минуты-двух и какой-то существенной нагрузки на сервер в эти моменты не создает. Повторяется этот процесс каждые 4 часа(+ при каждом запуске). Не понятно в чем вообще проблема таким образом все имеющиеся сейчас в сети 600-700 хостов просканировать и поддерживать может и не в самом актуальном состоянии, но более-менее адекватном? У меня база данных через пару дней онлайн работы клиента стала практически такой же как на вам сайте с модифицированным клиентом, только не так часто обновляется (раз в сутки в среднем, а у вас как понял 1 раз в час обновления по всем хостам сразу идут).

 

Проблема в том что он сканирует одни и те же 200 хостов каждый раз.

Т.е. он их не проходит по очереди, а каждый раз берет top200 по рейтингу.

В итоге рентерам уходят новые данные только с помощью анонсов, если хост находится ниже 200 в рейтинге.

И получается что всё что после 200 никогда не обновляется(если только хост анонс не сделает), и те хосты которые были "онлайн" остаются там навсегда в том же статусе.

 

Итого в данный момент все клиенты постепенно набирают массу мертвых хостов которые у них помечены как онлайн.

Для контрактов их использовать кошелек конечно не будет или очень маленький шанс, но из-за этого вот такие юбилеи получаются.

Я когда увидел что хосты в рост идут сильный стал ковырять код, и пофиксил временной заплаткой.

Потом еще разок переделывал, поэтому реальное положение отображается.

У меня пачки по 1000 берёт сейчас. Этого хватает чтобы покрыть онлайн хосты реальные.

 

Мысль с трудом до таека донёс, но решения так от него и не услышал, точнее не заставил его фиксить, само решение я ему тоже обозначил на словах.

 

 

Ускорение блокчейна уже включено в код 1.3?

да уже там, не проверял, верю на слово коду :)

 

Кстати, если за проектом следите плотно - может на вскидку знаете

Не всё читаю что происходит на гитхабе, только иногда.

Я такого на гитхабе не встречал и в чатах не видел такой инфы, но опять же всё и везде читать не осиливаю, слишком лень :)

 

Если есть такие проблемы(и логи желательно, и любая другая инфа), то лучше закинуть на гитхаб, даже если это продублируется, лишним не будет.

 

 

Я и имел ввиду как раз настройки/поведение майнеров. Так-то понятно, что технически можно любую транзакцию плоть до минимальной единицы отправить. Вопрос включит ли ее кто-нибудь в блок...

сеть не сказать что очень активная, бывают и пустые блоки, так что пролетят.

 

Мы тестили спам сети транзакциями, отправили >1000 вот таких минимальных по 1h, они прошли не за один блок, а достаточно долго(10-15 блоков прошло наверно), но большими пачками.

И кошелек пришлось разок с нуля синхронизировать, он потерял связь с реальностью от такого спама :D

[Mad_Max]

Одни и те же?

 

Странно, я сделал полный дамп базы хостов из своего стандартного клиента клиента (hostdb -v). После 3 дней работы он нашел 570 онлайн хостов, после 2+ недель работы сейчас в базе такой расклад:

 

3798 Offline Hosts:

114 Inactive Hosts:

680 Active Hosts:

 

При этом если верить полю "Recent Scans", то ВСЕ ~4600 хостов за это время были уже минимум по 2-3 раза просканированы, а половина уже по 5-10 раз проверялась. Если бы сканировал одни и те же такого покрытия никогда не получилось бы.

 

Проблема ИМХО есть только в первоначальном сканировании - при самом первым запуске клиента сканирование тоже только максимум 200+200 хостов идет, а сейчас если случайным образом 400 хостов из уже накопившихся в блокчейне почти 5000 анонсирующих записей выбрать, то онлайн окажется всего пара десятков. А клиенту арендаторов нужно минимум 40-50 хостов для первоначального заключения контрактов.

В результате если пользователь не дождется и попробует сразу после установки клиента и синхронизации кошелька купить место, то клиент начнет заключать контракты вообще со всеми подряд кого успел найти онлайн, в т.ч. теми хостами где цены специально в сотни-тысячи раз выше рынка задраны. Вероятно так и происходят "ограбления" арендаторов левыми хостами, на которые на зарубежных площадках периодически жалуются пользователи.

 

Надо бы в самый первый раз запускать неспешное, но полное сканирование всех хостов отметившихся в блокчейне для первичного формирования БД. А потом уже можно по пачками всего по 200 сканировать, чтобы не спамить слишком сильно сеть запросами - для поддержания более-менее актуальной базы этого уже должно хватать.

И не давать пользователю ставить деньги на покупку места, пока клиент не найдет хотя бы штук 100 онлайн хостов отвечающих на запросы, чтобы уже шел выбор по рейтингу, а  не все подряд что успели отозваться.

[Alex Sanasol Aksent'ev]

@Mad_Max,

 

https://github.com/NebulousLabs/Sia/blob/master/modules/renter/hostdb/scan.go#L306-L329

 

Берет только верхние хосты, в комменте кстати написано что должно отправлять вниз списка как минимум те которые не прошли проверку, но по факту такого нет и все равно сортирует по score.

 

 

680 Active Hosts:

это уже на ~50 больше чем есть.

 

Мой локальный недели 2 работает, там сейчас 720 онлайн показывает.

 

как-то оно все таки перемешивается или работает так что не быстро растёт, но оседает все равно нормально. Т.е. косвенно айптайм/даунтайм меняется - score меняется и так перемешиваются хосты.

Если бы не это, то вообще бы количество онлайн не падало наверно, поэтому это и не так заметно)

 

 

 

 

 

До 5 июля использовал дефолт настройки. Как на дрожжах растёт.

А 11 июля как раз на siapulse 1000 накопилась.

Но siapulse там вообще отдельная тема, выводит тоже какую-то накопительную статистику.

Т.е. показывает хосты за 6 часов/24 часа и т.д.

У меня либо онлайн, либо нет.

Изменено 27 июл 2017, 04:53 пользователем Sanasol

[SergeyK]

Как перенести блокчейн на d: диск ? Какие настройки поменять в Sia-UI ? 

[Alex Sanasol Aksent'ev]

@SergeyK,

 

как-то так, но это при запуске демона, а вот для GUI не знаю даже, не видал. Руками можно попробовать поменять в AppData в конфиге.

siad -d "D:\sia\"

Изменено 27 июл 2017, 09:26 пользователем Sanasol

[Tazman23]

Не могу понять, вчера с поло отправил вот хэш 4ee396cb264edaaac243d081de9493b7469884b78f9207a2f005676df25518ee а на cryptopya так и не пришли, в чем может быть проблема ?

[Alex Sanasol Aksent'ev]

Не могу понять, вчера с поло отправил вот хэш 4ee396cb264edaaac243d081de9493b7469884b78f9207a2f005676df25518ee а на cryptopya так и не пришли, в чем может быть проблема ?

 

https://explorer.siahub.info/hash/4ee396cb264edaaac243d081de9493b7469884b78f9207a2f005676df25518ee

 

транзакция в блокчейне, значит должны прийти уже.

 

значит проблема в приёмной стороне, у них спрашивать надо стало быть

[iRybin]

У полони какая-то хрень с отправкой SIA - на один и тот же адрес отправил с битрикса и полони - с первого дошли, со второго эксплорер не видит даже txid...

[Tazman23]

У полони какая-то хрень с отправкой SIA - на один и тот же адрес отправил с битрикса и полони - с первого дошли, со второго эксплорер не видит даже txid...

Та же хрень, позавчера дошли за 12 часов, а сегодня 19 часов прошло, но так и не появились.. 

[Mad_Max]

Как перенести блокчейн на d: диск ? Какие настройки поменять в Sia-UI ? 

 

В самом интерфейсе нет, но можно найти конфигурационный файл - config.json и в нем поменять путь в переменных datadir (где данные) и Path (если кроме данных и саму программу перекинуть на другой диск).

Файл по умолчанию в папке пользователя, для Windows это C:\Users\...\AppData\Roaming\Sia-UI Ну а *nix воды сами лучше знают где что у них лежит.

 

Только сначала соответствующие папки создать и туда данные перенести, а то клиент при запуске увидит пустые папки по указанному пути и начнет все с нуля из сети качать.

[iRybin]

 

 

У полони какая-то хрень с отправкой SIA - на один и тот же адрес отправил с битрикса и полони - с первого дошли, со второго эксплорер не видит даже txid...

 

пнул суппорт - ответили почти сразу - сказали, что проверят и пнут ещё раз и скоро зачислится. Зачислилось. Честно - удивлён, т.к. некоторые ждут ответа неделями...

[SergeyK]

Второй день по нолям и нет подключений совсем. Я много прошу:

Max Duration (Weeks)    26

Collateral per TB per Month (SC)  100

Price per TB per Month (SC)   50

Bandwidth Price (SC/TB)  25

Accepting Contracts

 

 

Add Storage Folder

Free

Max

 

F:\sia-host

449 GB       

[Alex Sanasol Aksent'ev]

 

Второй день по нолям и нет подключений совсем. Я много прошу:

Max Duration (Weeks)    26

Collateral per TB per Month (SC)  100

Price per TB per Month (SC)   50

Bandwidth Price (SC/TB)  25

Accepting Contracts

 

 

Add Storage Folder

Free

Max

 

F:\sia-host

449 GB       

 

 

 

https://siahub.info/

рейтинг-то нормальный?

 

Нужно в топ 200 хотя быпихаться, чтобы получать контракты.

[SergeyK]

В терминале выполнил: siac host announce

 

Host announcement submitted to network.

 

The host has also been configured to accept contracts.

To revert this, run:

siac host config acceptingcontracts false

 

После чего еще и через гуи SIA-UI выполнил announce, ввел айпи:порт

ничего не изменилось. В кошельке 2222sia. IP статика, все порты открыты.

https://siahub.info/

рейтинг-то нормальный?

 

Нужно в топ 200 хотя быпихаться, чтобы получать контракты.

как я туда попаду если у меня нет подключений Host Unreachable.

[Alex Sanasol Aksent'ev]

@SergeyK, анричиибл самого себя это нормальная вещь, не все провайдеры/роутеры могут себе такое позволить без костылей.

 

http://ping.eu/port-chk/

ну если порты закрыты по проверялкам, то проблема где-то в роутере/хосте.

 

 

Второй день по нолям и нет подключений совсем.

Если закрыто из вне, то откуда им взяться :)

[SergeyK]

@SergeyK, анричиибл самого себя это нормальная вещь, не все провайдеры/роутеры могут себе такое позволить без костылей.

 

http://ping.eu/port-chk/

ну если порты закрыты по проверялкам, то проблема где-то в роутере/хосте.

 

Если закрыто из вне, то откуда им взяться :)

Ясно. Попробую вечером дома, проброшу порт на роутере. Только айпи дома динамический. Это мне придется регистрировать имя например на dyndns и по этому имени делать анонс? Иначе после перезагрузки роутера изменится айпи и я потеряю контракты.

[Alex Sanasol Aksent'ev]

Ясно. Попробую вечером дома, проброшу порт на роутере. Только айпи дома динамический. Это мне придется регистрировать имя например на dyndns и по этому имени делать анонс? Иначе после перезагрузки роутера изменится айпи и я потеряю контракты.

контракты сброситься не должны от смены IP, везде используется публичный ключ хоста.

 

Но вот достучатьяс никто не сможет пока анонс не будет сделан с новым айпи.

 

так что да DynDNS надо в любом случае.

[termiton]

Как перенести блокчейн на d: диск ? Какие настройки поменять в Sia-UI ? 

%AppData%\Roaming\Sia-UI

config.json

Строка 4: "path": "D:\\SiaCoin\\Sia-UI-v1.3.0-win32-x64\\resources\\app\\Sia\\siad.exe",

Строка 5: "datadir": "D:\\SiaCoin\\sia",

Изменено 28 июл 2017, 13:39 пользователем termiton

[Mad_Max]

Ясно. Попробую вечером дома, проброшу порт на роутере. Только айпи дома динамический. Это мне придется регистрировать имя например на dyndns и по этому имени делать анонс? Иначе после перезагрузки роутера изменится айпи и я потеряю контракты.

Или покупать статику (у своего интернет провайдера), или регистрировать и настраивать дин-днс или аналоги. Ну есть еще 3й вариант клиент может делать анонс хоста заново, каждый раз когда видит что изменился используемый им внешний IP адрес.

Но 3й вариант нежелателен, т.к. за каждый повторный анонс снимается 0.6 монеты с кошелька, плюс незачем замусоривать базу данных хостов в блокчейне кучей записей об одном и том же хосте но с на разных ip адресах. Всем клиентам всей сети потом эти записи обрабатывать.

Хотя если ip меняется очень редко,  а не каждый день, то тоже приемлемо. У меня например на питерском билайне сессии обычно от недели до месяца держатся, за время пока пользуюсь SIA ip пока только 2 раза успел поменяться, просто анонс хоста повторный отправлял. Но надо будет потом что-то на постоянку сделать...

Изменено 28 июл 2017, 19:49 пользователем Mad_Max

[Alex Sanasol Aksent'ev]

 

 

незачем замусоривать базу данных хостов в блокчейне кучей записей об одном и том же хосте но с на разных ip адресах. Всем клиентам всей сети потом эти записи обрабатывать.

 

через 10 дней даунтайм хоста он из базы удаляется.

 

Правда при синхронизации блокчейна так или иначе база будет собрана по кускам и будет опять сканироваться на свежем кошельке.

[Mad_Max]

Не вижу, чтобы что-то из нее удалялось. На недавно(но больше 10 дней) поставленном и синхронизированном клиенте в базе оказывается почти 5000 хостов. Как понимаю это вообще все, хоть раз отметившиеся в блокчейне анонсом с момента запуска монеты. Да большинство оказываются помечены офлайн и клиент их может и не будет больше сканировать, но в начале все-равно в свою локальную БД хостов соберет из блокчейна и хотя бы пару раз пытается с каждым их них связаться прежде чем списать в "безнадежные".

 

Ну и в блокчейне эти записи в любом случае останутся навсегда, даже если потом в новых версиях логику работы с БД хостов переделают.

Изменено 29 июл 2017, 16:53 пользователем Mad_Max

[Alex Sanasol Aksent'ev]

Не вижу, чтобы что-то из нее удалялось. На недавно(но больше 10 дней) поставленном и синхронизированном клиенте в базе оказывается почти 5000 хостов. Как понимаю это вообще все, хоть раз отметившиеся в блокчейне анонсом с момента запуска монеты. Да большинство оказываются помечены офлайн и клиент их может и не будет больше сканировать, но в начале все-равно в свою локальную БД хостов соберет из блокчейна и хотя бы пару раз пытается с каждым их них связаться прежде чем списать в "безнадежные".

 

Ну и в блокчейне эти записи в любом случае останутся навсегда, даже если потом в новых версиях логику работы с БД хостов переделают.

да, забыл добавить что "должно удаляться", по факту тоже не видел чтобы удалялось, но в коде такие комментарии и сроки есть.

[SergeyK]

Возможно задам глупый вопрос: а зачем здесь майнеры со своими видеокартами нужны?

Почему бы ни сделать как в бурсте? Тот кто расшаривает диски тот и майнит (предоставляет сети хэши своих плотсов как доказательство проделанной работы, или как в SC доказательство сохранности данных).

А монеты майнеров забрать тем кто хранит данные. Зачем кормить дармоедов майнеров с видеокартами которые не делают полезной работы?

[Alex Sanasol Aksent'ev]

@SergeyK, ну первый самый очевидный вариант зачем диски для хранения дрючить майнингом? Ресурс-то не бесконечный.

[Enzo]

С удовольствием почитал последние страницы :) Очень жаль, что у разрабов печаль с руками/головами/временем/деньгами. Кто-нибудь пробовал арендовать? Или только сдавали? Интересно, в каком виде доступно место, особенно в работе с несколькими контрактами сразу. Видно ли там географическое расположение арендуемого места, чтобы сократить сетевые задержки?

 

Мне кажется асики затопчут монету в землю ещё глубже, чем она сейчас есть.