@UserTrue
Когда искал по форуму, часто встречал ответы этого пользователя. Если найдется минутка, поделитесь опытом. Пока выделил два возможных решения замены curl http. Может есть еще варианты? Какой вариант для вас лучше?
Помогите пофиксить ошибку
-
@basuser123 можно телеграм ваш? Или отпишите вы, пожалуйста, https://t.me/taras_cn
-
@korolkatkah уберите ожидание полной загрузки, вместо это используйте ожидание элемента страницы
-
@UserTrue said in Помогите пофиксить ошибку:
@korolkatkah уберите ожидание полной загрузки, вместо это используйте ожидание элемента страницы
как бы можно и так, но лучше прокси проверить :)
А больше 50 браузера - бас не особо тянет - есть машина 2 камня по 32 эпика, в сумме 128 потоков, памяти до попы, но один хрен больше 50 все лагать начинает ... Работает с файлами - может в этом затык. Профили на рам диске, ниче не помогает ...
-
@Nicolas said in Помогите пофиксить ошибку:
как бы можно и так, но лучше прокси проверить :)
Оно не всегда работает нормально, на некоторых сайтах может почти всегда такую ошибку кидать. Да и оно замедляет работу
-
@UserTrue said in Помогите пофиксить ошибку:
Оно не всегда работает нормально, на некоторых сайтах может почти всегда такую ошибку кидать. Да и оно замедляет работу
ну там еще зависит, от того что надо от сайта ... Иногда канвасы например грузятся в последнюю очередь и желательно их дождаться ... Ты все верно говоришь, но лучше обернуть в ошибку например, и дальше думать что с этим делать ...
Но что-то мне подсказывает, что у него просто прокси отваливаются или не доступны.
-
@Nicolas said in Помогите пофиксить ошибку:
Но что-то мне подсказывает, что у него просто прокси отваливаются или не доступны.
Ошибка возникает с конкретным видом прокси, хотя сами прокси быстрые и нормально открывают сайт в антидетект браузере в нормальнйо скорости, без капчи и т.д
-
@korolkatkah said in Помогите пофиксить ошибку:
Ошибка возникает с конкретным видом прокси, хотя сами прокси быстрые и нормально открывают сайт в антидетект браузере в нормальнйо скорости, без капчи и т.д
А, ну тут все просто - вы не учли количество соединений, которое предоставляет этот сервис. 1 соединение - один запрос, а чтоб загрузить страницу надо хотя бы 50 соединений ... В сеть утыкаетесь.
-
@Nicolas said in Помогите пофиксить ошибку:
Но что-то мне подсказывает, что у него просто прокси отваливаются или не доступны.
K
1 Reply
Last reply less than a minute agoа также ошибка возникает после 10 потоков, до 10 все нормально, таймаута нет.
На других прокси данный скрипт работает в 50 потоков и более без проблем
-
@korolkatkah выше описал.
-
@Nicolas пошел писать в сервис, спасибо большое! Надеюсь в этом затык.
-
@Nicolas said in Помогите пофиксить ошибку:
@korolkatkah said in Помогите пофиксить ошибку:
Ошибка возникает с конкретным видом прокси, хотя сами прокси быстрые и нормально открывают сайт в антидетект браузере в нормальнйо скорости, без капчи и т.д
А, ну тут все просто - вы не учли количество соединений, которое предоставляет этот сервис. 1 соединение - один запрос, а чтоб загрузить страницу надо хотя бы 50 соединений ... В сеть утыкаетесь.
я один раз сталкивался с такими проксями у которых лимит на соединения к сайту были, решил таким образом поставил вот этот фильтр на hosts
https://github.com/badmojr/1Hosts
и стало нормально работать. потому что на каждом крупном сайте соединений на всякие рекламы, адвордсы, фейсбук пиксели итд пару десятков точно собирается, это можно увидеть через например proxifier. а этот 1Hosts файл почти все это блокирует -
@basuser123 интересно, а как ты его с бас используешь ?
-
не с бас, просто паралельно в винду ставлю и все. с гуглом правда если кто качает могут быть нюансы надо почистить фильтры от гугловских доменов
-
@basuser123 в ту же винду где бас запущен ? ставил, это ты имеешь ввиду прописывал эти днс сторонние вместо оригинальных или хост менял - не совсем понял как ставить это чудо ...
-
@Nicolas
да в винде где бас стоит
вот тут
или все добавляешь в оригинальный файл, или просто его меняешь на этот 1hosts полностью и норм работает, затестить - пытаешься открыть любой домен из файла и браузер должен показать ошибку что нельзя законнектиться
-
@basuser123 э, ну так это не работает, потому как бас, когда через прокси работает - резолвид на стороне прокси ... Тут как бы либо их днс в виде doh использовать, но придется в каждом браузере настраивать, либо мап указывать в параметрах командной строки запуска хром, либо блочить эти домены внутри самого баса - запретить по маске.
Но такой подход может вызвать проблемы - так как иногда скрипты ломаются не получив доступ к другой своей части ...
-
@basuser123 бас используя прокси игнорирует файл host и любые правила в нём.
-
да и правда, сейчас проверил в обычном браузере не открывает, в басе открывает.
думал земля круглая, а она плоская))
может тогда через аддон типа такого?
https://chromewebstore.google.com/detail/host-adblocker/lkdeaaanpdkakjbfbjmnofohljimjmlh
ну это тоже будет +7мег блоклиста в каждый профиль, и настраивать отдельно
