Помогите пофиксить ошибку

[korolkatkah]

Привет. Скрипт логиниться на сайт через прокси и аккаунты. При запуске более 10 потоков появляется ошибка

Кто сталкивался или может помочь с решением - отпишите в ТГ, пожалуйста https://t.me/taras_cn

[basuser123]

не хватает времени на загрузку страницы, у меня также когда комп упирается в какие-то лимиты, или интернет, или оперативка или cpu/ ставь меньше потоков или проапгрейди железо
10 потоков это вполне адекватный лимит на среднем компе, особенно если сайт тяжелый с фото\видео

[korolkatkah]

@basuser123 спасибо, но запускалось более 50 поток на этом компе. Поэтому не в железе дело

[basuser123]

на этом же сайте или на другом? если на этом же то что тогда поменял в скрипте? или в течение работы потоки падают с 50 до 10?
впринципе самый легкий вариант поставить в скрипте не минуту(которая по умолчанию вроде стоит) на загрузку страницы, а больше. но опять же, если раньше работало а сейчас нет, то это довольно костыльный метод решить проблему, видно же что "что-то случилось" и ждать вместо одной минуты четыре это не очень правильный выход из ситуации

[korolkatkah]

@basuser123 можно телеграм ваш? Или отпишите вы, пожалуйста, https://t.me/taras_cn

[A Former User]

@korolkatkah уберите ожидание полной загрузки, вместо это используйте ожидание элемента страницы

[A Former User]

@UserTrue said in Помогите пофиксить ошибку:

@korolkatkah уберите ожидание полной загрузки, вместо это используйте ожидание элемента страницы

как бы можно и так, но лучше прокси проверить :)

А больше 50 браузера - бас не особо тянет - есть машина 2 камня по 32 эпика, в сумме 128 потоков, памяти до попы, но один хрен больше 50 все лагать начинает ... Работает с файлами - может в этом затык. Профили на рам диске, ниче не помогает ...

[A Former User]

@Nicolas said in Помогите пофиксить ошибку:

как бы можно и так, но лучше прокси проверить :)

Оно не всегда работает нормально, на некоторых сайтах может почти всегда такую ошибку кидать. Да и оно замедляет работу

[A Former User]

@UserTrue said in Помогите пофиксить ошибку:

Оно не всегда работает нормально, на некоторых сайтах может почти всегда такую ошибку кидать. Да и оно замедляет работу

ну там еще зависит, от того что надо от сайта ... Иногда канвасы например грузятся в последнюю очередь и желательно их дождаться ... Ты все верно говоришь, но лучше обернуть в ошибку например, и дальше думать что с этим делать ...

Но что-то мне подсказывает, что у него просто прокси отваливаются или не доступны.

[korolkatkah]

@Nicolas said in Помогите пофиксить ошибку:

Но что-то мне подсказывает, что у него просто прокси отваливаются или не доступны.

Ошибка возникает с конкретным видом прокси, хотя сами прокси быстрые и нормально открывают сайт в антидетект браузере в нормальнйо скорости, без капчи и т.д

[A Former User]

@korolkatkah said in Помогите пофиксить ошибку:

Ошибка возникает с конкретным видом прокси, хотя сами прокси быстрые и нормально открывают сайт в антидетект браузере в нормальнйо скорости, без капчи и т.д

А, ну тут все просто - вы не учли количество соединений, которое предоставляет этот сервис. 1 соединение - один запрос, а чтоб загрузить страницу надо хотя бы 50 соединений ... В сеть утыкаетесь.

[korolkatkah]

@Nicolas said in Помогите пофиксить ошибку:

Но что-то мне подсказывает, что у него просто прокси отваливаются или не доступны.

K
1 Reply
Last reply less than a minute ago

а также ошибка возникает после 10 потоков, до 10 все нормально, таймаута нет.

На других прокси данный скрипт работает в 50 потоков и более без проблем

[A Former User]

@korolkatkah выше описал.

[korolkatkah]

@Nicolas пошел писать в сервис, спасибо большое! Надеюсь в этом затык.

[basuser123]

@Nicolas said in Помогите пофиксить ошибку:

@korolkatkah said in Помогите пофиксить ошибку:

Ошибка возникает с конкретным видом прокси, хотя сами прокси быстрые и нормально открывают сайт в антидетект браузере в нормальнйо скорости, без капчи и т.д

А, ну тут все просто - вы не учли количество соединений, которое предоставляет этот сервис. 1 соединение - один запрос, а чтоб загрузить страницу надо хотя бы 50 соединений ... В сеть утыкаетесь.

я один раз сталкивался с такими проксями у которых лимит на соединения к сайту были, решил таким образом поставил вот этот фильтр на hosts
https://github.com/badmojr/1Hosts
и стало нормально работать. потому что на каждом крупном сайте соединений на всякие рекламы, адвордсы, фейсбук пиксели итд пару десятков точно собирается, это можно увидеть через например proxifier. а этот 1Hosts файл почти все это блокирует

[A Former User]

@basuser123 интересно, а как ты его с бас используешь ?

[basuser123]

не с бас, просто паралельно в винду ставлю и все. с гуглом правда если кто качает могут быть нюансы надо почистить фильтры от гугловских доменов

[A Former User]

@basuser123 в ту же винду где бас запущен ? ставил, это ты имеешь ввиду прописывал эти днс сторонние вместо оригинальных или хост менял - не совсем понял как ставить это чудо ...

[basuser123]

@Nicolas
да в винде где бас стоит
вот тут
или все добавляешь в оригинальный файл, или просто его меняешь на этот 1hosts полностью и норм работает, затестить - пытаешься открыть любой домен из файла и браузер должен показать ошибку что нельзя законнектиться

spoiler

[A Former User]

@basuser123 э, ну так это не работает, потому как бас, когда через прокси работает - резолвид на стороне прокси ... Тут как бы либо их днс в виде doh использовать, но придется в каждом браузере настраивать, либо мап указывать в параметрах командной строки запуска хром, либо блочить эти домены внутри самого баса - запретить по маске.

Но такой подход может вызвать проблемы - так как иногда скрипты ломаются не получив доступ к другой своей части ...