Bablosoft

делать запросы без BAS, закрывая и открывая браузер

Moved Поддержка
  • E

    Привет друзья! У меня возникли проблемы. Я недавно стал пользователем программы и у меня есть проект, в котором мне нужно скопировать информацию с веб-сайта и сохранить его, но я не могу закрыть и открыть страницу браузера, потому что каждый раз, когда это происходит, у меня это подтверждает мой вклад. Как я могу запустить его, не закрывая страницу браузера и не открывая каждый запрос, он берет эти данные для запроса из файла, поэтому он должен выполнить цикл и перейти к следующему запросу ... Можете ли вы мне помочь ?????

    0

  • mocardM

    При выборке с базы 50 000 записей BAS на время виснет и одновременно с ним все асинхронные функции.

    Поддержка
    0 Votes
    2 Posts
    513 Views
    ?

    @mocard проблема не в базе, а в том что в бас работа с ней реализована синхронно (
    Можно работать через веб драйвер в nodejs, в лайфхак есть пример

  • S

    BAS стал прожорливее

    Поддержка
    0 Votes
    8 Posts
    844 Views
    ?

    @somik said in BAS стал прожорливее:

    "запретить запросы"
    *.jpg
    *.jpeg
    *.png
    *.gif

    Это не для всех сайтов подходит, некоторые пытаются бесконечно грузить их и становится еще хуже )

  • L

    BAS через какое-то время (может через час, может через 4 часа и больше) перестает запускать процесс

    Поддержка
    0 Votes
    47 Posts
    3998 Views
    oleg4everO

    тоже встретился с этим моментом, что cmd.exe перестаёт запускаться через какое то время. однажды поймал ошибку "The handle is invalid.", потом и её BAS перестал показывать. возможно видел ошибку, когда через nodejs запускал cmd, а не через кубик процесса. версия BAS 26.0.2. система windows server 2022.

    при запуске процесса, переменные PROCESS_STANDART_OUTPUT и PROCESS_ERROR_OUTPUT остаются пустыми. а в списке процессов, похоже, даже нет попытки запуска cmd.exe. лечится перезапуском BrowserAutomationStudio.exe

    сделал тестовый скрипт. кириллицы в именах папок и файлов нет. поставил счетчик глобальный и для каждого потока (запустил в 10 потоков). глобально cmd уже был вызван 38 507 раз , в каждом потоке 3850. время выполнения 2 ч 36 мин. ошибки дескриптора все еще нет. (тут явно не дело в 500 повторений, как предполагалось выше. видимо дескриптор ломается через бОльшее время.) 2ч30мин работало без ошибок.

    НО забыл проверить команду старт, про которую писал @layabdu , она тоже была использована в моем проекте, где замечена проблема.

    возможно (по наблюдениям) ошибка дескриптора возникала не в процессе работы скрипта. а при повторном запуске после остановки. то есть скрипт может и 3 дня работать без проблем, но если остановить и запустить по новой, то тут уже ошибка появляется.

    ps. когда все это написал понял, что забыл про команду старт. чутка подправил текст и пробую вызывать и гасить калькулятор пока... за 500 повторений тоже не получилось смоделировать проблему. прикрепил тестовый скрипт, может надо 4-12 часов его гонять.

    exec.xml

  • N

    После завершения скрипта BAS удаляет из ресурса не одну строку а несколько(прокси, юзер агенты и т.д)?

    Поддержка
    0 Votes
    8 Posts
    1911 Views
    N

    @fox said in После завершения скрипта BAS удаляет из ресурса не одну строку а несколько(прокси, юзер агенты и т.д)?:

    @nonamemartin said in После завершения скрипта BAS удаляет из ресурса не одну строку а несколько(прокси, юзер агенты и т.д)?:

    @fox said in После завершения скрипта BAS удаляет из ресурса не одну строку а несколько(прокси, юзер агенты и т.д)?:

    @martinluther1483 said in После завершении скрипта BAS удаляет из ресурса не одну строку а несколько(прокси, юзер агенты и т.д)?:

    @fox said in После завершении скрипта BAS удаляет из ресурса не одну строку а несколько(прокси, юзер агенты и т.д)?:

    добавить в строку любые идентификационные данные.

    Есть ли возможность отключить то чтобы BAS удалял повтор значение в файле? Как добавить идентификационные данные(можно примеров показать) а то я не могу понять? Если я соединяю все эти данные одной строкой и пытаюсь их спарсить, то разделители , . : ; не дают мне их нормально спарсить так как в тексте юзер и api используются именно эти все разделители и юзер прописывается не так ( Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome;72.0.3626.119 Safari/537;36 ) а по отдельности ( Macintosh ПОТОМ Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome ПОТОМ 72.0.3626.119 Safari/537) - это я написал к примеру!!!!
    Может подскажете как можно это обойти?
    Нет Добавить логин, пароль, и прочие данные через разделитель в одну строку login|password|127.0.0.1:888 Можете использовать свой разделитель который точно не попадётся в данных, например |. Парсить через модуль "список" действием "парсить строку"

    Теперь возникла проблема в том, что когда я запускаю через многопоток скрипт с парсингом строки, то каждый поток берет те же самые данные, например http://prntscr.com/ngy7t7 !!! Как сделать так чтобы поток брал разные данные по строке в файле с разделителем(через "парсить строку")?????

    Используйте ресурс, в настройке ресурса установите, например, такие настройки:
    0_1556246957020_422aab63-2022-46d5-a301-1571106d46b4-изображение.png

    вы ведь не все данные в одну строку соединили? :D

    Всё))) Разобрался!!!!

  • ReversR

    VPS для BAS?

    Поддержка
    0 Votes
    35 Posts
    8708 Views
    FastSpaceF

    @кот Вообще-то это не так делается. Сразу видно ты начитался пугалок и в этой теме ноль.

    Читанул дело Богатова - он свой ПК и IP "расшарил" для сети тор, сделал из него конечную ноду. Кто-то подключился к его IP, и оставил несколько сообщений с его IP. Майор запросил владельца сайта с какого IP писали угрозы, и ему предоставили, но проблема в том что из хуево кучи IP адресов использования аккаунта следователи просто выбрали 1 самый ближайшим к ним Московский этот бедняги Богатова, сделав вывод типо преступник уже найден :D Это говорит о их высокой квалификации достаточно много.

    Вот так запросто чекнуть кто и как подключился бред. Только если сам выходной адрес не принадлежит этому майору, который ведет вечные логи или только если ты посещал сайты с незащищенным соединением (FTP, HTTP) . А если нет, то делается сначала запрос хостинг провайдеру прокси, получает ответ в виде IP твоего сервера. Это при условии, что провайдер прокси ведет логи подключения! Обычно у них стоит система авто очистки раз в 3-5 дней, и хранить логи на хуево куча террабайтов вообще не резон. Допустим всё проходит зашибись и получили по запросу IP дедика с которого ты сидел. Опечатывать никто не поедет, если тот самый майор живет где-нибудь за 500 км от дата центра твоего сервера, а еще если в чужой стране. Опять же делается запрос в этот сервис (допустим зомро) и максимум, что они предоставят это твои данные и кто подключался к этому дедику (твой ПК). Всё дело сделано, кажется ура, но увы нет. Спокойно можно почистить следы присутствия после отключения от сессии RDP. А если допустим ты подключался к дедику не напрямую, и опа опять проблема и опять запрос. Вообще-то схема становиться крайне запутанной, а учитывая практику дело Богатова, то париться с пунктом два из моего сообщения никто и не станет. Виновным автоматических по их логике станет владелец самого прокси :D