Децентрализованный вебсервер

[Teotihuacan]

кто-то на эту тему думал? я изначально полагал что это невозможно, но подумав оказалось что почти все проблемы вроде как решаются, но непонято както оно на практике работало бы

речь про полный вебсервер, а не про статический контент

 

я ваще в тот раздел написал?)

 

мысли:

 

понятно что база данных на блокчейне будет

 

как поддерживать сессию? это просто мемпул как у биткоина, ну не просто  но похож, ибо сессию нужно синхрониизвать также как и блокчейн

 

где хранятся серверные скрипты? вся файлоовая стуктура сайта хранится в одним файле который содержит хеши всех файлов контента - и он сами и файлы хранятся в IPFS или типа того,  итого в блокчейн на каждый деплой нужно добавить тока 1 хеш

 

как заливать файлы? просто шарим файлы в IPFS и отдаем хеш, но тут нужно оставаться раздатчиком поэтому файл должен кешироваться у клиента

 

теперь приблиз как он работает:  скприты и прочее помещается в IPFS , в блокчейн передается хеш на файловую структуру самого свежего деплоя, все или часть узлов получает его, теперь обращаемся на любой узел,  имя сайта в хеш деплоя можно резолвить через чтото типа ENS, нода по хешу извлекает скрипты,  если нужно создается сессию, выполняет заапрос и возвращает юзеру хтмл

 

вроде норм но:

 

масштабируемость по кол-ву юзерей:  тут нужна балансировка.  предположим в одном регионе трафик вырос в 1000 раз, нужно чтобы запросы перебрасывались от загрженых узлов к менее загруженным. можно ли сделать это эффективно? хз

 

масштабируемости по кол-ву сайтов: похоже простой узел на домашнем компе будет не очень, скока он сайтов потянет обрабатывать?  точно не все, значит шардинг нужен. а если представим что все сайты инета мы переведем на децентрализованный сервер. не получится ли тут комбинация ненужной избыточности по хранению блокченйа и проблем с раскидыванием сайтов  по узлам, ибо каждый узел потянет ну может 100 простых  сайтов или только часть одного большого, как это балансировать хз ваще,  + тогда ж еще и сессии нужно тоже шардить ибо поддерживать копию  всех 100000000 сайтов инета с их 1000000000000 сессиями на каждом узле нереал, тогда узел должен быть по объему ОЗУ как все  вебсервра вместе вязтые,

значит шардинг будет не по 20% от блокчейна на узел, а 0.000001% - как поддерживать availablity и как ваще найти узел с нужным сайтом  в таких условиях - ваще хз

 

потом, если обслуживать сразу много сайтов, например если нужно обработать 1000 запросов на 1000 сайтов, то можно быстро упереться в размеры ОЗУ, а если кешировать на диск то это будет его изнасилование + тормоза юзеру

 

итого получается что сделать можно, но  на большом кол-ве сайтов оно всё станет очень нестабильным и тормозным

 

и кста нахрен тут блокчейн ваще, вроде рипл тут даже эффективнее будет хранить хеши деплоев

[Teotihuacan]

не обязательно придумывать как решить проблемы, железное доказательство невозможности тоже приветствуется

 

Edited 28 Jan 2020, 23:45 by Teotihuacan

[moneymaker]

@Teotihuacan в 2017м только с вайтпейпером мог выходить уже на ICO и сейчас тусить на лазурке ?. Ну а тенические проблемы.. не взлетел и не взлетел, так бывает. 

[Oz]

Всё уже реализовано через контроллеры Ingress в Kubernetes. В качестве балансировщика у нас Traefik или Haproxy. Кубернетес строится на базе Ceph... К счастью, всё это без блокчейна.

 

[Teotihuacan]

10 часов назад, moneymaker сказал:

@Teotihuacan в 2017м только с вайтпейпером мог выходить уже на ICO и сейчас тусить на лазурке ?. Ну а тенические проблемы.. не взлетел и не взлетел, так бывает. 

 

на самом деле  у меня не стоит задача это создать, но я занят на другом проекте(с вайтпепером :)))) смысл которого в частности основывается на том что сабж невозможен или невозможен достаточно эффективно

со своим проектом я возможно буду скоро выступать и там мне нада кратко и ясно указать почему сабж нереализуем, но когда я начал думать об этом детально оказалось что приципиальных проблем нет, есть только проблемы с масштабированием хотя они выглядят как достаточные

 

ну а 2017й я не совсем профукал потому что я там наварил достаточно чтобы спокойно до конца жизни заниматься чем хочу, но с вайтпепером не успел это правда) да и проектом я занимаюсь потому что интересно а не потому что лазурный берег мне нужен, я и щас могу переехать в элитную квартирку и ездить на любой тачке кроме ролсройса, но мне всё это не нужно, я даже не путешествую никуда, не было интересно никогда, даже на конфу лететь приходится себя сильно заставлять, я не  аутист или интроверт просто не люблю лишние телодвижения

 

4 часа назад, Oz сказал:

Всё уже реализовано через контроллеры Ingress в Kubernetes. В качестве балансировщика у нас Traefik или Haproxy. Кубернетес строится на базе Ceph... К счастью, всё это без блокчейна.

 

 

ну это же всё не то, это для кластеров, а кластер это изначально четко организованная система заточеная под масштабируемость и балансировку, а п2п ни под что не заточен

у кластера сткрутура сети это дерево, а п2п это граф  произвольный

Edited 29 Jan 2020, 10:46 by Teotihuacan

[Desconect]

2 часа назад, Teotihuacan сказал:

ну это же всё не то, это для кластеров, а кластер это изначально четко организованная система заточеная под масштабируемость и балансировку, а п2п ни под что не заточен

у кластера сткрутура сети это дерево, а п2п это граф  произвольный

То что вы хотите возможно. 

Есть сложности в том что те кто будут предоставлять мощности должны будут сответствовать требованием определенным. 

Пример вот как у Эфира когда он уйдет на пос . Да и сейчас чтобы поднять ноду нужно хорошее железо и связь. 

Мы работали над тем о чем вы говорите только в немного другой области Трансляции видио (стримы ) с п2п. Были именно проблемы с качеством этих самых п2п.

[Teotihuacan]

10 минут назад, Desconect сказал:

То что вы хотите возможно. 

Есть сложности в том что те кто будут предоставлять мощности должны будут сответствовать требованием определенным. 

Пример вот как у Эфира когда он уйдет на пос . Да и сейчас чтобы поднять ноду нужно хорошее железо и связь. 

Мы работали над тем о чем вы говорите только в немного другой области Трансляции видио (стримы ) с п2п. Были именно проблемы с качеством этих самых п2п.

 

и все те проблемы которые я описал, в частности в переделе шардинг 1,94 миллиарда сайтов на 1-10 млн узлов, вы решили?

Edited 29 Jan 2020, 13:18 by Teotihuacan

[Desconect]

4 часа назад, Teotihuacan сказал:

и все те проблемы которые я описал, в частности в переделе шардинг 1,94 миллиарда сайтов на 1-10 млн узлов, вы решили?

Начну с конца. А зачем пытаться укусить весь интернет ?? Мы и не ставили цели весь прямо интернет взять и запихнуть в наш п2п проект . И вам кстати не советую :) 

Как я и сказал нам не удалось решить много чего и основные грабли которые были. это то что люди которые предоставляли мощности вычеслительные . предоставляли сякое гамно с интернетом не знаю, типа G2  даже не 3 . 

 

 

 

[Oz]

Quote

 

ну это же всё не то, это для кластеров, а кластер это изначально четко организованная система заточеная под масштабируемость и балансировку, а п2п ни под что не заточен

у кластера сткрутура сети это дерево, а п2п это граф  произвольный

 

Конечно это не то. Я предлагаю действительно рабочее решение, для любого продакшна с целью поднятия высокосложного проекта аля гугл. И даже в этой схеме потом обязательно будут проблемы. Соответственно зачем p2p? Чтобы появился очередной бесполезный отдел разработки блокчейна? Должна быть какая-то объективная причина зачем оно вообще нужно и какие плюсы это даст.

 

Quote

невозможен достаточно эффективно

 

Edited 29 Jan 2020, 17:38 by Oz

[Teotihuacan]

18 часов назад, Oz сказал:

Должна быть какая-то объективная причина зачем оно вообще нужно и какие плюсы это даст.

 

ну можно напрячь мозг и догадаться в чем прикол децентализованного вебсервера

 

1. абсолютная устройчивость к любым DOS атакам, потому что некого аттаковать

2. гарантированная масштабируемость, приложению не нужно масштабировать инфраструктуру изза роста трафика, вы можете захостить сайт который никому не нужен, а на след деньо оказается что тарфик вырос в миллон раз, и ваш сайт не ляжет, все будет нормально, потому что в его распоряжении вся мировая п2п сеть

3. 100% аптайм, ваш сайт никогда не ляжет для всех изза проблем с железом

4. ну и как обычно дополнительные сложности для цензуры

Edited 30 Jan 2020, 11:48 by Teotihuacan

[Oz]

Децентрализованный "вебсервер" - это уже CDN (Content Delivery Network). И p2p там не используется, потому что всё застрянет как в эфириумных CryptoKitties из-за ограничений по пропускной способности. И главное не стоит забывать, что пропускная способность есть не только у "блокчейна". Но ещё и у магистрали Internet backbone. Потому данные из Америки в Европу не идут КАЖДЫЙ РАЗ . Они один раз передаются на ближайший origin. После чего кэшируются и распространяются уже оттуда не p2p, а PoP - Points of Presence.

 

Выходит всё уже изобретено ... Или Вы прям точно хотите решение аля bitcoin или torrent? Но зачем?!

[alzov]

@Oz Чё-то прохладные истории боярин, трафик из Европы в Америку не каждый раз идет? А как же онлайн игры и видеосвязь итд?)

[Hinovid]

@Oz В торрентах есть pex (peer exchange) и lsd (local seed discovery). Поэтому клиент старается качать в первую очередь с соседей (если они есть).
Эфириум тормозит не из-за того что скорости интернета не хватает, а из-за что ограничение блокчейна: нужно успеть распостранить блок по всем майнерам и найти подходящий хэш чтобы орфаны не появились.

[Oz]

2 hours ago, alzov said:

@Oz Чё-то прохладные истории боярин, трафик из Европы в Америку не каждый раз идет? А как же онлайн игры и видеосвязь итд?)

 

Игры и видеосвязь это UDP. Не имеют никакого отношения к CDN и доставке контента. Впрочем игры тоже стараются принудительно распределять по региональным серверам.

Ну и как бы ты сейчас со стороны клиента. А тем временем трафик для более-менее серьёзного сервера почти всегда платный. А тот же условный YouTube генерирует настолько дохрена трафика. Поэтому позволить его гонять туда-сюда без причины может позволить себе только очень богатый извращенец.

[alzov]

@Oz То что ресурсы кешируются я знаю и что мультикаст есть для колхозников, но все же ДАЛЕКО не весь трафик кешируется.

@Oz Сейчас каналы широкие 3-4 гигабит\секунду канал на сервере можно даже бесплатно иметь безлимитный, времена меняются

Edited 30 Jan 2020, 18:21 by alzov

[prorok]

16 часов назад, Teotihuacan сказал:

 

ну можно напрячь мозг и догадаться в чем прикол децентализованного вебсервера

 

1. абсолютная устройчивость к любым DOS атакам, потому что некого аттаковать

2. гарантированная масштабируемость, приложению не нужно масштабировать инфраструктуру изза роста трафика, вы можете захостить сайт который никому не нужен, а на след деньо оказается что тарфик вырос в миллон раз, и ваш сайт не ляжет, все будет нормально, потому что в его распоряжении вся мировая п2п сеть

3. 100% аптайм, ваш сайт никогда не ляжет для всех изза проблем с железом

4. ну и как обычно дополнительные сложности для цензуры

2. в настоящее время итак особо нет проблем с маштабируемостью - купил доп сервер вот и все)

3. делают резерв, поэтому хороший сайт итак никогда не ляжет изза железа

4. и теперь изза этой страны городить блокчейн, а голодные россияне - потребители да?

Тоесть остается мифическая устойчивость к DOS.. и всё - и тут я согласен с Oz - нафига оно надо

Децентрализованные должны быть данные а не сервер, сервер по кнопке можно развернуть на новом железе