Расчет комиссий биткоин

[polym0rph]

Всем привет!

 

Не так давно была ситуация, когда несколько знакомых людей не смогли вовремя провести транзакции в биткоине, потому что выставили слишком маленькие комиссии.

Мы решили в связи с этим сделать свою утилиту, которая анализирует мемпул и показывает, какую комиссию лучше всего поставить.

 

Сразу скажу, это прототип, пугаться не стоит внешнему виду, потом причешем. Сейчас задача сделать правильный концепт, который будет наиболее полезен пользователям.

Суть работы утилиты довольно простая: мы выгребаем с полного узла весь мемпул, сортируем транзакции в нем по комиссии. Понятно что транзакции с наивысшей комиссией почти наверняка попадут в ближайший блок, но сильно переплачивать тоже не хочется. Пролететь мимо блока тоже, например из-за того, что у сети чуть упала удача, блок долго ищется и накидали новых транзакций. Пока что эмпирическим путем было установлено, что наиболее эффективно взять половину от среднеарифметического средней и минимальной комиссии, добавить это значение к средней комиссии и с ней отправлять. Но не исключаю, что эту формулу будем еще тюнить.

Если у вас есть идеи, как лучше и нагляднее можно отобразить эти данные - предлагайте, страница в разработке, учтем все пожелания.

 

Ссылка на прототип - https://bits.media/fee/bitcoin/

 

 

Версия 1:

Скрытый текст

 

Для наглядности сделали  графическое отображение объема транзакций относительно размера блока на страницы утилиты есть внизу блоки, а воронка сверху пропорциональна по площади объему блока.  Можно визуально быстр определить, насколько входящих транзакций больше, чем помещается в блок.

 

 

 

Версия 2:

Скрытый текст

 

Было решено отказаться от пропорциональной воронки, т.к. простыня эта была совсем неюзабельна. Теперь воронка фиксированной высоты, полная высота = максимум за последние 24 часа.

Также добавили графики минимальной и средней комиссии, а также статистику нахождения блоков, чтобы можно было понимать по скачкам, что сейчас происходит.

 

 

 

 

Версия 3:

Спойлер

От воронки отказались вообще. Вместо нее сделали график со структурой мемпула. Можно посмотреть в реалтайме сколько транзакций сейчас неподтвержденных, какая у них комиссия, и как все это меняется во времени.

 

Добавили еще несколько полезных графиков:
 

График расчета времени подтверждения в зависимости от комиссии за килобайт

График нахождения блоков за последние 6 часов

Гистограмма распределения транзакций по размеру комиссии

 

И ниже более наглядно информацию по уже найденным блокам, чтобы лучше понимать, что сейчас в сети творится.

 

 

[Helber]

@polym0rph , отлично, написал про утилиту в нашем топике про поиск оптимальной комиссии. 
Пока что с припиской, что это прототип.

[sankopolo]

@polym0rph в целом очень правильное начинание. Все расчеты комиссий, что я видел, по качеству были от "не очень" до "совсем плохо".

6 часов назад, polym0rph сказал:

наиболее эффективно взять половину от среднеарифметического средней и минимальной комиссии, добавить это значение к средней комиссии и с ней отправлять

Т е формула (mid+min)/2/2+mid ? Средняя комиссия - по мемпулу, в последнем блоке или в нескольких последних блоках? Тот же вопрос про минимальную?

Воронку можно вверх ногами развернуть.

 

Ох. Вот сейчас (09:10 МСК) bits.media рекомендует 4-7 сатоши за байт:

И это при том, что в мемпуле 4.7 Мб транзакций с комиссией > 7 сат/байт и уже более 10 часов транзакции с комиссией <10 сат/байт не проходят совсем (если не считать "льготников"):

 

[Graf34]

там почему то данные уже несколько часов не меняются. как было 9575 неподтвержденных транзакций на момент публикации, так до сих пор и осталось. и размер комиссии соответственно тоже. а в реальности совсем другие цифры....

[polym0rph]

9 часов назад, sankopolo сказал:

Т е формула (mid+min)/2/2+mid ?

Нет, не min а max там должно быть. Остальное верно.

 

9 часов назад, sankopolo сказал:

Средняя комиссия - по мемпулу, в последнем блоке или в нескольких последних блоках? Тот же вопрос про минимальную?

В блоках особо не имеет смысла считать что было. Так что все расчеты по текущему мемпулу.

Единственный риск - что очень много блоков быстро найдется, тогда переплатим комиссии, или что будет долгая неудача, тогда можем застрять. Но тут непонято как подстраховаться.

Бывает что загрузка в среднем высокая, но тут нашлось несколько блоков подряд за минуту,  утилита показывает, что комиссия нужна маленькая, т.к. мемпул рассосался, и в следующий час он набивается опять, и рекомендация малой комиссии скореевредит, хотя в моменте была совершенно оправданной. Возможно нужно какое-то сглаживание по времени делать, но тут пока не уверен.
 

9 часов назад, sankopolo сказал:

Воронку можно вверх ногами развернуть.

Идея интересная. Если еще мысль воронку фиксированной высоты делать. Но вопрос тогда что за максимум брать. Понятно, что идея графического соотношения по площади тогда тоже идет в мусорку.
 

9 часов назад, sankopolo сказал:

Ох. Вот сейчас (09:10 МСК) bits.media рекомендует 4-7 сатоши за байт:

 

7 часов назад, Graf34 сказал:

там почему то данные уже несколько часов не меняются. как было 9575 неподтвержденных транзакций на момент публикации, так до сих пор и осталось. и размер комиссии соответственно тоже. а в реальности совсем другие цифры....

Это пример как страница может выглядеть для обсуждения. Я специально писал - "Пока не закончим разработку просьба не относиться к рекомендациям как к достоверным. Ссылку на утилиту нигде в меню не выносим специально, это можно сказать черновая версия в процессе разработки. " и нигде ссылку на эту страницу не давал, кроме этого топика. Сейчас только к сайту прикрутили, там еще не набрались данные, да и не факт что все стабильно будет работать тут, когда наберутся. Не надо ориентироваться на эти значения! Я напишу, когда эта штука будет стабильно работать. Пока только обсуждение какие данные и как лучше выводить, чтобы это было всем удобнее и нагляднее.
 

[2222]

Можно добавить параметр - расчетная комиссия для попадания в первый блок при 1 час задержке блоков.

[sankopolo]

17 minutes ago, polym0rph said:

формула (mid+min)/2/2+mid

Но минимум по мемпулу уже давно единица и не меняется? Тогда получается (mid+min)/2/2+mid=1.25*mid+0.25*min=1.25*mid+0.25 ?

 

Не верится мне в такие формулы... Большая часть мемпула никак не влияет на возможность попадания в блок в короткосроке - скажем, за 6 блоков. Реально влияет только 5-10 мб "верхушка". Может, попробовать оценивать по ней?

 

Я хочу сказать, что сделать хороший рекомендатор комиссий - реально сложно. Хотя бы потому, что никакая разумная комиссия не гарантирует попадание в первый (или даже первые 6) блоков. Максимум, что можно достоверно посчитать - при такой комиссии вероятность попадания в первый блок будет примерно p_1, во второй - примерно p_2 и т д. Но кому из пользователей нужна эта куча вероятностей и что он будет с ней делать?

12 hours ago, polym0rph said:

Не так давно была ситуация, когда несколько знакомых людей не смогли вовремя провести транзакции в биткоине, потому что выставили слишком маленькие комиссии.

Кстати, эта проблема на 95% решается включением replace-by-fee в кошельке - у транзакции можно будет менять легко комиссию на лету.

[polym0rph]

1 час назад, 2222 сказал:

Можно добавить параметр - расчетная комиссия для попадания в первый блок при 1 час задержке блоков.

В теории да, на практике есть еще одна неизвестная величина - скорость поступления новых транзакций и комиссий в них. Эта  штука растет  очень быстро при задержках по моим наблюдениям, но предугадать ее сложно.

 

1 час назад, sankopolo сказал:

Не верится мне в такие формулы

И правильно. Потому что min учитывать практически бесполезно, да и этот параметр узлы вообще сами настраивать могут, меньше какой комиссии они не обрабатывают.

В формуле у нас используется max и mid. Они уже позволяют более адекватно оценить вероятность попасть в ближайшие блоки.

 

1 час назад, sankopolo сказал:

Кстати, эта проблема на 95% решается включением replace-by-fee в кошельке - у транзакции можно будет менять легко комиссию на лету.

Верно. В одном случае так и решили, во втором транзакция была без этой возможности.  Пытались даблспендить, но сеть помнила предыдущую транзакцию, более того, периодически какие-то узлы раз в несколько дней ее опять в сеть ретранслировали, в итоге не получилось даже руками заменить ее. Через какое-то время подтвердилась на пустом мемпуле, но ситуация вообще удивительная была.

[vernichter]

Может как-то графически отображать тенденцию к росту или снижению комиссии? Например, красная стрелка вверх - в последних блоках комса росла, зеленая вниз - снижалась.

[polym0rph]

@vernichter  Как вариант график средней комиссии добавить. Чтобы пользователи могли сами интерпретировать тенденцию.

[sankopolo]

17 hours ago, polym0rph said:

Как вариант график средней комиссии добавить.

График минимальной комиссии в блоке был бы очень неплох. А ещё лучше - пятый (третий, десятый) процентиль, чтобы убрать "льготников".

Это будет график необходимой комиссии для попадания в блок.

[polym0rph]

Вроде корректно все уже отдает и не падает несколько дней, можно уже поглядывать за значениями на странице. Не забывайте только страницу обновлять перед тем как смотреть их.

Если увидите любые аномалии - пишите.

Ну и по внешнему виду по-прежнему предложения принимаются, сейчас понятно что это черновой вариант все еще.

[polym0rph]

Так, при 120+Мб транзакций в мемпуле сервак начинает не справляться с обработкой в реалтайме, там все транзакции отдельно обрабатываются. Похоже надо что-то оптимизировать.

[polym0rph]

Обновили страницу https://bits.media/bitcoin-fee/

Было решено отказаться от пропорциональной воронки, т.к. простыня эта была совсем неюзабельна. Теперь воронка фиксированной высоты, полная высота = максимум за последние 24 часа.

Также добавили графики минимальной и средней комиссии, а также статистику нахождения блоков, чтобы можно было понимать по скачкам, что сейчас происходит.

Работает весьма стабильно сейчас уже, прошлые подвисания все вылечили. Есть еще что шлифовать, но в целом уже рабочий инструмент, как мне кажется. Что скажете?

[polym0rph]

Обновили страницу https://bits.media/bitcoin-fee/

 

Вместо сатоши/Кбайт сделали BTC/Кбайт, т.к. это значение в Bitcoin Core, удобнее сверяться.

 

Добавили значение в баксах для минимальной по объему транзакции(225 байт) при рекомендованной комиссии для быстрой отправки. Обратите внимание, что реальные транзакции обычно имеют несколько входов/выходов, поэтому занимают больше места и обходятся дороже. Минимальный размер приведен для примера, чтобы быстро в баксах можно было оценить текущую ситуацию в сети.

 

Добавили значение в баксах по средней комиссии, которую сейчас платят люди. То есть буквально по текущему срезу мемпула берется сумма всех комиссий и делится на количество транзакций.

 

Что примечательно, что даже с учетом того, что размер реальных транзакций почти всегда больше минимальных, платят люди в большинстве случаев такую комиссию, которая не позволит им попасть в ближайшие блоки. Собственно, график воронки ниже это тоже показывает.

 

 

UPD:
При скачках удачи бывает так, что комиссий оказывается и у халявщиков даже больше, чем нужно

 

[Dmitrii Storm]

@polym0rph , спасибо большое! Реально удобная штука!!!!

Только у вас там ашиппки:

"платят отправители за свои трензакции"

 

"

[polym0rph]

@Dmitrii Storm Спасибо, сейчас поправим.

[Knot]

У вас один из самых удобных калькуляторов, спасибо!

[polym0rph]

Обновили код утилиты, ускорили обработку транзакций в несколько раз. По идее ничего отвалиться не должно)

[Dmitrii Storm]

7 часов назад, polym0rph сказал:

Обновили код утилиты, ускорили обработку транзакций в несколько раз. По идее ничего отвалиться не должно)

 

Шик-блеск-красота!

 

Такое предложение:

возможно на бочке мем-пула сделать зарубки? Например, сбоку где-то обозначить, что в апреле 2020 было на  максимуме, условно, 350 МБайт.

А то смотришь на цифру 132 Мб и не понимаешь, это много или мало. Не с чем сравнить.

В порядке бреда, конечно.

 

А так - отличный инструмент! Спасибо!

[Dmitrii Storm]

Поломалась шайтан-машина

[polym0rph]

Мы тут обновили утилиту расчета комиссий.

Изменили и систему урлов, потому что начали делать такие же инструменты и для других валют. Заодно можно будет потом их между собой посравнивать.

 

Уже готовы:

Расчет комиссий Bitcoin

Расчет комиссий Litecoin

 

От воронки отказались вообще. Вместо нее сделали график со структурой мемпула. Можно посмотреть в реалтайме сколько транзакций сейчас неподтвержденных, какая у них комиссия, и как все это меняется во времени.

 

 

Добавили еще несколько полезных графиков:
 

График расчета времени подтверждения в зависимости от комиссии за килобайт

График нахождения блоков за последние 6 часов

Гистограмма распределения транзакций по размеру комиссии

 

И ниже более наглядно информацию по уже найденным блокам, чтобы лучше понимать, что сейчас в сети творится.

 

Ждем отзывов, все ли удобно, понятно, стоит ли что-то улучшить?

[Djo]

Гайс, а кто поменял бутылку на графики про комиссиям https://bits.media/fee/bitcoin/ ??? Ни че же не понятно стало, где бутылка??

 

[Manipul]

Только что, Djo сказал:

Гайс, а кто поменял бутылку на графики про комиссиям https://bits.media/fee/bitcoin/ ??? Ни че же не понятно стало, где бутылка??

 

владелец NFT ее забрал.

[Helber]

@Djo , пост перемещен сюда