Bablosoft

Как можно автоматом перебрать url 1-10.000

Поддержка
  • D

    Всем привет
    Вроде простая задача, но не получается справиться.

    Есть url site.ru/market/id1

    Задача последовательно перейти по всем урлам сайта, учитывая что %10 будут 404 ошибка, пытался сделать через FOR + переменная и увеличение переменной. Как справиться с такой задачей ?

    Oyasumi PunpunO 1 Reply
    0
  • Oyasumi PunpunO

    @d6139313 именно так, как вы написали. Можно использовать FOR и [[CYCLE_INDEX]]
    в качестве индекса страницы.

    А по поводу страниц с ошибками - внутри цикла делать проверку текущего числа, если все ок - грузить, иначе не грузить.

    0

  • G

    Как отлаживать скрипт?

    Поддержка
    0 Votes
    7 Posts
    933 Views
    gurkin4G

    @govoruxinroman said in Как отлаживать скрипт?:

    Так как а как в многопоточном режиме это сделать?

    Так тыкнуть 20 раз в браузере. По вами написанному, элемент появляется примерно 1х20.
    Останется только сравнить HTML коды с элементом и без.

  • NikolasN

    Как поменять тип переменной?

    Поддержка
    0 Votes
    3 Posts
    533 Views
    NikolasN

    @kingsize спасибо. булево значение переменой сделал с помощью этой конструкции кубиков 2022-05-30_180312.jpg

  • ToolsmanT

    Как объединить списки ?

    Поддержка
    2 Votes
    8 Posts
    2751 Views
    tZenT

    @freeliman
    Вариант 1
    Создать ресурсы со списками
    Создать цикл который будет брать новые данные из ресурса и записывать(Файловая система > Записать в файл) их в тот же файл с расширением .csv
    "{{list1|notreuse}}";"{{list2|notreuse}}";"{{list3|notreuse}}"

    img
    Полученный файл спокойно можно открыть через Excel либо Google Таблицы

    Вариант 2
    Через базу данных.
    Предварительно через редактор схемы БД, создаем структуру.
    База данных > Вставить запись
    Заполняем нужные поля входными данными.
    После отработки скрипта идем в БД и экспортируем свои данные.

  • CaptchaLomC

    Как работает ресурс прокси-обновление по ссылке url? загрузить по ссылке

    Поддержка
    0 Votes
    2 Posts
    1283 Views
    supportS

    @CaptchaLom

    БАС запоминает какие использованы, а какие нет? Или будет использовать повторно?

    Если выбрано "Перегружать периодически", то БАС будет запоминать какие использованы и их откладывать, если выбрано "Обновлять периодически", то список будет обновляться, и прокси могут быть использованы повторно.

    Влияет ли как то на работу/производительность частые обновления? какие значения рекомендованы?

    Просто через заданные интервалы будут происходить запросы.

    Если в настройках прокси стоит определять прокси автоматически - это сказывается на работу?

    Это значит, что тип прокси должен быть с строке.

    или лучше указывать что соксы или http ?

    Да, так лучше.

  • J

    Как использовать список прокси из url

    Поддержка
    0 Votes
    21 Posts
    14188 Views
    supportS

    @justabot установить количество неудач в число больше 1, БАС сам будет это делать.