@UserTrue
Когда искал по форуму, часто встречал ответы этого пользователя. Если найдется минутка, поделитесь опытом. Пока выделил два возможных решения замены curl http. Может есть еще варианты? Какой вариант для вас лучше?
Помогите пофиксить ошибку
-
Привет. Скрипт логиниться на сайт через прокси и аккаунты. При запуске более 10 потоков появляется ошибка
Кто сталкивался или может помочь с решением - отпишите в ТГ, пожалуйста https://t.me/taras_cn
-
не хватает времени на загрузку страницы, у меня также когда комп упирается в какие-то лимиты, или интернет, или оперативка или cpu/ ставь меньше потоков или проапгрейди железо
10 потоков это вполне адекватный лимит на среднем компе, особенно если сайт тяжелый с фото\видео -
@basuser123 спасибо, но запускалось более 50 поток на этом компе. Поэтому не в железе дело
-
на этом же сайте или на другом? если на этом же то что тогда поменял в скрипте? или в течение работы потоки падают с 50 до 10?
впринципе самый легкий вариант поставить в скрипте не минуту(которая по умолчанию вроде стоит) на загрузку страницы, а больше. но опять же, если раньше работало а сейчас нет, то это довольно костыльный метод решить проблему, видно же что "что-то случилось" и ждать вместо одной минуты четыре это не очень правильный выход из ситуации -
@basuser123 можно телеграм ваш? Или отпишите вы, пожалуйста, https://t.me/taras_cn
-
@korolkatkah уберите ожидание полной загрузки, вместо это используйте ожидание элемента страницы
-
@UserTrue said in Помогите пофиксить ошибку:
@korolkatkah уберите ожидание полной загрузки, вместо это используйте ожидание элемента страницы
как бы можно и так, но лучше прокси проверить :)
А больше 50 браузера - бас не особо тянет - есть машина 2 камня по 32 эпика, в сумме 128 потоков, памяти до попы, но один хрен больше 50 все лагать начинает ... Работает с файлами - может в этом затык. Профили на рам диске, ниче не помогает ...
-
@Nicolas said in Помогите пофиксить ошибку:
как бы можно и так, но лучше прокси проверить :)
Оно не всегда работает нормально, на некоторых сайтах может почти всегда такую ошибку кидать. Да и оно замедляет работу
-
@UserTrue said in Помогите пофиксить ошибку:
Оно не всегда работает нормально, на некоторых сайтах может почти всегда такую ошибку кидать. Да и оно замедляет работу
ну там еще зависит, от того что надо от сайта ... Иногда канвасы например грузятся в последнюю очередь и желательно их дождаться ... Ты все верно говоришь, но лучше обернуть в ошибку например, и дальше думать что с этим делать ...
Но что-то мне подсказывает, что у него просто прокси отваливаются или не доступны.
-
@Nicolas said in Помогите пофиксить ошибку:
Но что-то мне подсказывает, что у него просто прокси отваливаются или не доступны.
Ошибка возникает с конкретным видом прокси, хотя сами прокси быстрые и нормально открывают сайт в антидетект браузере в нормальнйо скорости, без капчи и т.д
-
@korolkatkah said in Помогите пофиксить ошибку:
Ошибка возникает с конкретным видом прокси, хотя сами прокси быстрые и нормально открывают сайт в антидетект браузере в нормальнйо скорости, без капчи и т.д
А, ну тут все просто - вы не учли количество соединений, которое предоставляет этот сервис. 1 соединение - один запрос, а чтоб загрузить страницу надо хотя бы 50 соединений ... В сеть утыкаетесь.
-
@Nicolas said in Помогите пофиксить ошибку:
Но что-то мне подсказывает, что у него просто прокси отваливаются или не доступны.
K
1 Reply
Last reply less than a minute agoа также ошибка возникает после 10 потоков, до 10 все нормально, таймаута нет.
На других прокси данный скрипт работает в 50 потоков и более без проблем
-
@korolkatkah выше описал.
-
@Nicolas пошел писать в сервис, спасибо большое! Надеюсь в этом затык.
-
@Nicolas said in Помогите пофиксить ошибку:
@korolkatkah said in Помогите пофиксить ошибку:
Ошибка возникает с конкретным видом прокси, хотя сами прокси быстрые и нормально открывают сайт в антидетект браузере в нормальнйо скорости, без капчи и т.д
А, ну тут все просто - вы не учли количество соединений, которое предоставляет этот сервис. 1 соединение - один запрос, а чтоб загрузить страницу надо хотя бы 50 соединений ... В сеть утыкаетесь.
я один раз сталкивался с такими проксями у которых лимит на соединения к сайту были, решил таким образом поставил вот этот фильтр на hosts
https://github.com/badmojr/1Hosts
и стало нормально работать. потому что на каждом крупном сайте соединений на всякие рекламы, адвордсы, фейсбук пиксели итд пару десятков точно собирается, это можно увидеть через например proxifier. а этот 1Hosts файл почти все это блокирует -
@basuser123 интересно, а как ты его с бас используешь ?
-
не с бас, просто паралельно в винду ставлю и все. с гуглом правда если кто качает могут быть нюансы надо почистить фильтры от гугловских доменов
-
@basuser123 в ту же винду где бас запущен ? ставил, это ты имеешь ввиду прописывал эти днс сторонние вместо оригинальных или хост менял - не совсем понял как ставить это чудо ...
-
@Nicolas
да в винде где бас стоит
вот тут
или все добавляешь в оригинальный файл, или просто его меняешь на этот 1hosts полностью и норм работает, затестить - пытаешься открыть любой домен из файла и браузер должен показать ошибку что нельзя законнектиться
-
@basuser123 э, ну так это не работает, потому как бас, когда через прокси работает - резолвид на стороне прокси ... Тут как бы либо их днс в виде doh использовать, но придется в каждом браузере настраивать, либо мап указывать в параметрах командной строки запуска хром, либо блочить эти домены внутри самого баса - запретить по маске.
Но такой подход может вызвать проблемы - так как иногда скрипты ломаются не получив доступ к другой своей части ...
