Bablosoft

Зачем в кубике "прокси" эти настройки

Поддержка

  • P

    в чем прикол функции в многопоток

    Поддержка
    0 Votes
    6 Posts
    1069 Views
    P

    @Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
    Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
    Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
    Логика такова:
    1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
    2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
    3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
    4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
    -Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
    -Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
    -Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(

  • S

    Какой алгоритм у "Используйте каждую строку несколько раз"?

    Поддержка
    0 Votes
    9 Posts
    2442 Views
    S

    @fox said in Какой алгоритм у "Используйте каждую строку несколько раз"?:

    Это время нужно для получения доступа к этой же строке.

    Все понял, спасибо. Если поставил галочку использовать строку один раз, то это время вообще ничего не значит. Просто добавили дополнительное окно:
    0_1542134832184_63bf5af1-b8bb-4777-9e15-38db4a23832e-image.png
    И оставили активным поле со временем чтоб тем, кто пытается освоить бас, жизнь медом не казалась. Или руки не дошли чтоб об этом подумать. Очень рекомендую вообще его убрать, вам новые пользователи скажут спасибо.

  • T

    Как отсеивать прокси которые грузят страницу только в виде текста

    Поддержка
    0 Votes
    7 Posts
    1985 Views
    S

    @TheCreator Скорее всего, вы используете паблик прокси или очень медленные прокси, не все загружаеться. Как писали выше - в данном случае css(). Ну на сколько я знаю, если прокси слабые, то поток максимально облегчают - запрещают картинки, скрипты и тд. Главное - загрузить полностью страницу(ждать полной загрузки в басе) или ждать элемента(кнопки - тогда полной загрузки можно и не ждать(так как на галимых проксях она вообще может полностью не загрузится)). Не понятно просто какая ошибка. В настройках поставить востанавливать соединение. Если элемента небыло - заново перегрузить(в условиях поставить какое количество раз). На таких проксях раз может загрузится, а раз нет.

  • sergodjan66S

    Критич. ошибка в логе: "Таймаут во время выполнения MouseMove"

    Поддержка
    0 Votes
    44 Posts
    12959 Views
    GangG

    @support said in Критич. ошибка в логе: "Таймаут во время выполнения MouseMove":

    @Gang said in Критич. ошибка в логе: "Таймаут во время выполнения MouseMove":

    В переменной "LAST_ERROR": "Таймаут во время выполнения random point[documentRoot, xpath_all //a[contains(text(), "Log In")], at 1]",

    А какое содержание страницы на сервере, у меня работает.

    Еще на сервере БАС становится почему то серым

    По рдп стили отключается специально.

    Кароче решил я проблемку с Таймаут во время выполнения MouseMove на сервере. Просто тупо запретил запрос по маске *.mp4 Там в шапке сайта видос грузился, походу он влиял на работу мышки. Не знаю почему так, на домашнем компе работает и с видосом, а на серваке ни в какую.

  • G

    Волшебное слово "wait" ??

    Поддержка
    0 Votes
    3 Posts
    3117 Views
    G

    Спасибо за список. Не хочется попадать в такую ситуацию ) Я далек от java и javascript ))))