BOTanica - серия торговых ботов для бирж Poloniex и Binance

[SilverMan82]

а зачем он? если он окупается за день, если не за пару часов, зато бесплатные обновления ВСЕ, установка  BOTanica

на вдс будет стоить примерно столько же в месяц как оплата клоутбота на месяц , так зачем замарачиватся ? честно не понимаю людей которые жалуются что у клоутбота нету триала, хотя они покупают бота потом еще платят за вдс, что в итоге получается куда дороже

да дело в том что я не игрок на краткосрок я просто попробовать хотел с малым депо

[Saine]

да дело в том что я не игрок на краткосрок я просто попробовать хотел с малым депо

Почему вам не нравится краткосрок ? и если вы хотели попробовать то клоутбот как раз и подойдет, я не рекламирую его, просто общаюсь и пытаюсь помочь. Если у вас маленько депо то смысл давать 0.05 = 112,9 баксов, а если не понравится? долго будете отбивать свои 100$  а тут 1000 рублей быстро отбить можно, и если не понравился забыл и все

Изменено 19 июл 2017, 21:09 пользователем Saine

[Petline]

Автору. В окне истории торгов сортировка по дате как-то криво работает (см. скрин). + сложно прикрутить к этим окнам вертикальную прокрутку? + все строчки с валютой в названии более 4 букв - съезжают. Как-то все не аккуратненько.  

[panas@74.ru]

автор исчез...

[HeathRow]

Автор никуда не исчезал. Все вопросы последних двух страниц темы уже обсуждались ранее и добавить по ним нечего. Неработоспособность бота из-за ошибок EIdHTTPProtocolException, или если заглянуть в лог-файл, оно же - 403 Forbidden Это ничто иное, как блокировка биржей доступа к их api-сервису всех подсетей с которых, в свое время, осуществлялись атаки на poloniex. Ни с какими капчами и версией браузера в заголовке запроса это не связано. С такими же проблемами сталкиваются пользователи других приложений работающих с биржей по api. Решением данной проблемы является только смена ip, вынос бота на виртуальные сервера, использование vpn и т.д.

 

[gordgelin]

Автор никуда не исчезал. Все вопросы последних двух страниц темы уже обсуждались ранее и добавить по ним нечего. Неработоспособность бота из-за ошибок EIdHTTPProtocolException, или если заглянуть в лог-файл, оно же - 403 Forbidden Это ничто иное, как блокировка биржей доступа к их api-сервису всех подсетей с которых, в свое время, осуществлялись атаки на poloniex. Ни с какими капчами и версией браузера в заголовке запроса это не связано. С такими же проблемами сталкиваются пользователи других приложений работающих с биржей по api. Решением данной проблемы является только смена ip, вынос бота на виртуальные сервера, использование vpn и т.д.

 

Про бан то понятно что по IP/сети. Но ЕЩЕ РАЗ повторю насчет рекапчи - если ее пройти, апи работает с этого забаненого IP. То есть если ботом на старте сделать например сделать запрос к паблик апи и в каком-то мини-окошке пройти рекапчу, сохранить куки и т.д., то думаю должно работать (до слеующего запроса рекапчи, который можно по 403 отловить тоже, но автоматизация выходит так себе так как бот получается будет работать только под присмотром...)

 

 

Изменено 20 июл 2017, 19:44 пользователем gordgelin

[HeathRow]

 

Про бан то понятно что по IP/сети. Но ЕЩЕ РАЗ повторю насчет рекапчи - если ее пройти, апи работает с этого забаненого IP. То есть если ботом на старте сделать например сделать запрос к паблик апи и в каком-то мини-окошке пройти рекапчу, сохранить куки и т.д., то думаю должно работать (до слеующего запроса рекапчи, который можно по 403 отловить тоже, но автоматизация выходит так себе так как бот получается будет работать только под присмотром...)

 

polocapcha.png

 

Снифер тут явно вываливает весь трафик идущий с компа, а не только от бота. гуглы яндексы и прочее

Накидал на скорую руку тулзу, показывает код ответа и сообщение о причине отказа, если оно там есть конечно. Покажите, что он у Вас с 403 ответит.

https://drive.google.com/open?id=0B60WGf9cxbCEYnJrZWlyUkp1NWc

[gordgelin]

Снифер тут явно вываливает весь трафик идущий с компа, а не только от бота. гуглы яндексы и прочее

Накидал на скорую руку тулзу, показывает код ответа и сообщение о причине отказа, если оно там есть конечно. Покажите, что он у Вас с 403 ответит.

https://drive.google.com/open?id=0B60WGf9cxbCEYnJrZWlyUkp1NWc

на скрине отлично видно что после 403 иет выполнение poloniex.com/cdn-cgi/scripts/cf.challenge.js и потом прохождение рекапчи

 

 

 

гуглы яндексы и прочее

никакого левого трафика на скрине тоже нет, так, пару запросов от хрома, что тоже видно - там толко запросы на полоникс и рекапчу

а рекапча какбы гугловская....

 

проверять чекер с ключами не хочу, я ж сказал и показал - капчу просит даже на паблик апи для которго ключи не нужны. если есть желание - сделайте чекер без ключей и я проверю

(хотя не очень понятно что там чекать .и так же видно что страница с 403 и есть страница с галкой)

 

Изменено 20 июл 2017, 20:20 пользователем gordgelin

[kinchakov]

на скрине отлично видно что после 403 иет выполнение poloniex.com/cdn-cgi/scripts/cf.challenge.js и потом прохождение рекапчи

 

 

 

никакого левого трафика на скрине тоже нет, так, пару запросов от хрома, что тоже видно - там толко запросы на полоникс и рекапчу

а рекапча какбы гугловская....

 

проверять чекер с ключами не хочу, я ж сказал и показал - капчу просит даже на паблик апи для которго ключи не нужны. если есть желание - сделайте чекер без ключей и я проверю

(хотя не очень понятно что там чекать .и так же видно что страница с 403 и есть страница с галкой)

 

2017-07-20_23-08-20.png

меняешь ip и все работает

[gordgelin]

меняешь ip и все работает

это понятно. у нас разговор о технических причинах неработоспособности на заблоченом

[HeathRow]

на скрине отлично видно что после 403 иет выполнение poloniex.com/cdn-cgi/scripts/cf.challenge.js и потом прохождение рекапчи

 

 

 

никакого левого трафика на скрине тоже нет, так, пару запросов от хрома, что тоже видно - там толко запросы на полоникс и рекапчу

а рекапча какбы гугловская....

 

проверять чекер с ключами не хочу, я ж сказал и показал - капчу просит даже на паблик апи для которго ключи не нужны. если есть желание - сделайте чекер без ключей и я проверю

(хотя не очень понятно что там чекать .и так же видно что страница с 403 и есть страница с галкой)

 

2017-07-20_23-08-20.png

То, что Вы показываете на скрине больше похоже на трафик браузера. Публичные запросы, такие как https://poloniex.com/public?command=returnTicker собственно браузером и используются, в чем можно убедиться тыкнув по ссылке. Не вижу смысла делать Checker с использованием таких запросов, так как если есть доступ к бирже через браузер стало быть есть доступ и к публичным запросам. Не совсем понятны Ваши сомнения по поводу ввода ключей в чекер, так как судя по всему, Вы уже пользовались ботом, а стало быть все Ваши пароли и явки мне давно известны ;) Шучу, если вдруг кто не поймет. Предоставление информации от чекера помогло бы дальнейшей разработке бота, но это дело добровольное, и я разумеется никого не заставляю. В крайнем случае можно создать новые ключи или даже аккаунт и удалить их после проверки.

[gordgelin]

То, что Вы показываете на скрине больше похоже на трафик браузера. Публичные запросы, такие как https://poloniex.com/public?command=returnTicker собственно браузером и используются, в чем можно убедиться тыкнув по ссылке. Не вижу смысла делать Checker с использованием таких запросов, так как если есть доступ к бирже через браузер стало быть есть доступ и к публичным запросам. Не совсем понятны Ваши сомнения по поводу ввода ключей в чекер, так как судя по всему, Вы уже пользовались ботом, а стало быть все Ваши пароли и явки мне давно известны ;) Шучу, если вдруг кто не поймет. Предоставление информации от чекера помогло бы дальнейшей разработке бота, но это дело добровольное, и я разумеется никого не заставляю. В крайнем случае можно создать новые ключи или даже аккаунт и удалить их после проверки.

Ну а почему бы полониксу не использовать в веб интерфейсе своё же апи раз оно есть? Вы же я так думаю смотрели справку по полониксу апи и знаете что оно состоит из публичных запросов и запросов с ключем. И публичное апи прекрасно используется ботами для получения списка доступных валютных пар, цен, и т.д.

 

Чекер я смотрел - он работает коряво и выплёвывает футер страницы с капчей, той самой что я показал на последнем скрине.

 

P.S. за ключи я не переживаю, просто не вижу смысла лишний раз их куда-то вводить. Ну и мы с вами списывались по почте ;)

Изменено 21 июл 2017, 10:56 пользователем gordgelin

[HeathRow]

Ну а почему бы полониксу не использовать в веб интерфейсе своё же апи раз оно есть? Вы же я так думаю смотрели справку по полониксу апи и знаете что оно состоит из публичных запросов и запросов с ключем. И публичное апи прекрасно используется ботами для получения списка доступных валютных пар, цен, и т.д.

 

Чекер я смотрел - он работает коряво и выплёвывает футер страницы с капчей, той самой что я показал на последнем скрине.

 

P.S. за ключи я не переживаю, просто не вижу смысла лишний раз их куда-то вводить. Ну и мы с вами списывались по почте ;)

Мне на почту пишут много людей, извините, кого сразу не признал.

Буду очень признателен Вам если скопируете то что возвращает чекер, конечно если там нет никакой секретной информации :)

[gordgelin]

Ну вот прилагаю. Чекер режет ответ но я думаю видно что это футер страницы поло (просто в чекер тоже не завезли скроллбары)

 

 

 

надеюсь это уже окончательно убедит вас что это рекапча

polo.txt

Изменено 21 июл 2017, 11:28 пользователем gordgelin

[diezelc]

как протестировать бот? Написал в личку, но нет ответа

[HeathRow]

Ну вот прилагаю. Чекер режет ответ но я думаю видно что это футер страницы поло (просто в чекер тоже не завезли скроллбары)

 

2017-07-21_14-22-36.png

 

 

надеюсь это уже окончательно убедит вас что это рекапча

Спасибо. Практически убедили :)

Как я понимаю это происходит когда Вы заходите с нового ip, и после того как залогинитесь через браузер бот начинает работать?

как протестировать бот? Написал в личку, но нет ответа

Что бы я мог привязать бота к Вашей учетной записи на бирже, создайте api-ключ и перешлите мне API Key. Secret присылать не нужно

Изменено 22 июл 2017, 11:44 пользователем HeathRow

[gordgelin]

 

 

Как я понимаю это происходит когда Вы заходите с нового ip, и после того как залогинитесь через браузер бот начинает работать?

 

Нет, не начинает. Если Вы вернетесь выше к моим первым скринам то увидите скрин с cookie. Залогинившись в бразере и пройдя рекапчу в браузере, только там и будет все работать. 

 

Чтобы бот начал работать, нужно чтобы в его запросах тоже было валидное cookie. О чем я тоже говорил - например можно сделать попап с какимто TWebBrowser или типа того и после прохождения его сохранять вот те два куки со скрина и добавлять их в запросы. И тогда должно работать до их истечения. Потом придется получать новые.

 

Можете проверить например так - вытащить рабочие куки из браузера и вставить в чекер. ТЕОРЕТИЧЕСКИ запрос должен пройти без проблем как я это вижу.

[hertz]

а когда новая версия будет?

[HeathRow]

Нет, не начинает. Если Вы вернетесь выше к моим первым скринам то увидите скрин с cookie. Залогинившись в бразере и пройдя рекапчу в браузере, только там и будет все работать. 

 

Чтобы бот начал работать, нужно чтобы в его запросах тоже было валидное cookie. О чем я тоже говорил - например можно сделать попап с какимто TWebBrowser или типа того и после прохождения его сохранять вот те два куки со скрина и добавлять их в запросы. И тогда должно работать до их истечения. Потом придется получать новые.

 

Можете проверить например так - вытащить рабочие куки из браузера и вставить в чекер. ТЕОРЕТИЧЕСКИ запрос должен пройти без проблем как я это вижу.

Добавил в чекер возможность добавлять руками любое название клиента и куки. Поиграйтесь, проверьте теорию. Было бы конечно удобно если бы я это все проверял от себя, но к счастью или сожалению, мой провайдер не попал в санкционный список от полонекса :)

https://drive.google.com/open?id=0B60WGf9cxbCEWVA4VkJmdFhqN1U

Изменено 23 июл 2017, 09:35 пользователем HeathRow

[HeathRow]

а когда новая версия будет?

Вот решаем проблему с 403-им ответом от биржи. Для проекта было бы полезным, если бы и другие пользователи, у кого та же проблема с доступом к полонексу высылали свои отчеты, что им возвращает чекер. Но как видите, помогает с этим пока только 1 человек.

[gordgelin]

Добавил в чекер возможность добавлять руками любое название клиента и куки. Поиграйтесь, проверьте теорию. Было бы конечно удобно если бы я это все проверял от себя, но к счастью или сожалению, мой провайдер не попал в санкционный список от полонекса :)

https://drive.google.com/open?id=0B60WGf9cxbCEWVA4VkJmdFhqN1U

в каком формате нужно вписывать куки? имя=значение;имя=значение?

[HeathRow]

в каком формате нужно вписывать куки? имя=значение;имя=значение?

Да, как они отображаются в снифере. Все что идет после заголовка "Cookie: ". Сам заголовок вставлять не нужно.

Изменено 23 июл 2017, 10:13 пользователем HeathRow

[Dmitry_66]

У меня чтобы ни писал .Все время 200 HTTP/1.1 200 OK

 

выдает

[kikkomando]

Пробую играться с тестовой версией бота. 

Принципиально работает все как и ожидалось, вполне ровно и стабильно.

Лично для меня большой проблемы с returnTicker не возникло. 

Опишу по шагам. Бота пробовал запускать из двух стран Украина (айпи не статик из пула местного провайдера, пробовал также от Водафон УА) и Румыния (от местного провайдера и от Водафон РО).

Украина по локальному инету  - при старте бота постоянное возвращение returnTicker. Переключился на мобильный инет от Водафон УА (Бывший МТС) Прикарпатский регион - результат такой же, пробовал преподключаться к вышке, стала появляться работа без возврата returnTicker.

Подключился к VPN со своей конторы, сервак стоит в Румынии на статик айпи, стабильный полный аптайм кроме первой минуты.

Сейчас физически нахожусь в Румынии и от местного провайдера и от местного мобильного оператора все стабильно работает.

 

Теоретически могу поговорить с айтишником и пожертвовать на дело комп оставшийся от майнинга чтоб админ поднял впн для пользования бота. Есть в этом смысл?

 

Готовлю отчет по торгам бота за сутки.

Очень много вмешивался в работу бота остановами и перезапусками. Если выполнять инструкцию из стартового топика, то бот нормально возвращается на рельсы.

 

Вопрос к автору. Даже при том, что у я не нахожусь в блеклисте полоникса, на старте бота нередки случаи возврата returnTicker возможно из-за большого количества опросов API о маркете и валетах. Может стоит добавить второй API и пусть бот использует их поочередно для увеличения скорости опрашивания? Например, при наблюдениях за работой бота замечал что он не успевает за другими явно-ботами и опаздывал с самой низкой/высокой ставкой на 1-4 ставки. Мой пинг до полоникса 50-60мс, так что дело не в интернете.

 

Ещё один вопрос. Бот делает выкуп ставок ? (BTC_STR Buy 0.00000784 191.32780612 0.0025 0.00150000 2017-07-23 12:46:43) с комиссией 0.25% был сделан ботом этот трейд.

 

И финально - реквесты:

1. Есть ли возможность сделать в боте ручной режим покупки/продажи? Я имею в виду поручить боту провести закупку позиции по команде пользователя и не продавать данную позицию до следующей команды пользователя. Технически закупку выполнять апая ордер на минимальную ставку и делая это в 2-3 потока - то есть, если поручено боту купить позицию в размере 900 единиц в коридоре условно 0.01 - 0.013, то при активном апе позиции конкурентами он разделит пул покупки на три части и будет их выставлять поочередно для минимизации задержки между отменой и выставлением ордера. Условно пока первая треть находится в верху списка, остальные  две отменяются и готовятся к выставлению поочередно. Это агрессивная закупка позиции и она очень полезна при игре на коротких. Аналогичное для продажи. Я действительно считаю это первостепенным и даже более полезным чем стратегии, так как до написания и имплементации стратегий ещё много времени пройдет. Действительно был бы очень годный инструмент для ручной торговли. Если такое реализовано в других ботах, ткните в ссылку пожалуйста.

2. Планируется ли в обозримом будущем дать пользователя возможность корректировать или писать элементы работы бота (как в пункте выше) или целые стратегии? Я понимаю что до этого момент пройдет немало времени, но хотел бы знать. Да, я знаю что у соседей это есть, но тот продукт меня не заинтересовал.

Изменено 23 июл 2017, 13:19 пользователем Kikkoman

[gordgelin]

Да, как они отображаются в снифере. Все что идет после заголовка "Cookie: ". Сам заголовок вставлять не нужно.

 

как и ожидалось, подставив user agent и валидые куки полученные из браузера, запрос прошел успешно

 

 

время жизни куки - полтора часа, потом нужно переполучать

Изменено 23 июл 2017, 17:22 пользователем gordgelin