@FastSpace подскажи, это какую функцию имеешь ввиду?
Условно говоря у меня идут действия от одного к другому.
Проверка существования элемента, если его не видно значит нужно выполнить клик по элементу
Если ошибка клика по элементу, т.к он не найден, ставить проверку существования элемента отвечающего за капчу?
Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы (РЕШЕНО)
-
Здравствуйте!
Как можно реализовать многопоток с разными страницами в каждом потоке
https://www.сайт.домен&p=номер страницыПроблема решена. Решение ниже:
Все создается в OnApplicationStart
- Создаем список [[НАЗВАНИЕ]]
- Создаем цикл FOR от "1" до "100" - 1 и 100 номера страниц
- В цикле FOR создаем действие "Добавить Элемент" и в нем в "Переменная, содержащая список" указываем список [[НАЗВАНИЕ]] из п.1 , а в "Значение для добавления" выбираем переменную [[CYCLE_INDEX]]
- Выбираем действие создать ресурс. В настройках ресурса ставите свое название и "Интервалы между использованиями " можете по дефолту оставить, а в остальных полях ставите единицу.
- Преобразуем список в ресурс "Имя ресурса" берем из п.4 , а "Переменная со списком" из п.1
@Fox прикрепил скрипт. Можете его посмотреть.
У кого тоже не скачивается скрипт, а открывается в браузере:
- Кликаем на скрипт, код скрипта откроется в браузере
- Нажимаем ПКМ из списка выбираем действие "Исследовать элемент"
- Переходим во вкладку "Sources"
- С левой стороны будет файл с расширением .xml
- Жмем по нему ПКМ и жмем "Safe as"
-
@sadsd111 said in Многопоток + парсер:
Здравствуйте!
Как сделать, чтобы парсинг происходил во многопотоке? Чтобы каждый поток брал новую ссылку и она не повторялась в другом потоке.используйте ресурсы
-
@Fox У меня таков алгоритм скрипта : БАС заходит на страницу / категорию?page=... После, по этомй категории проходит по страницам, в зависимости от их количества и парсит ссылку с каждого объявления на этой странице и записывает в файл. Потому и каждый поток, отработав свою ссылку, опять начинает повторять.
-
@sadsd111 said in Многопоток + парсер:
@Fox У меня таков алгоритм скрипта : БАС заходит на страницу / категорию?page=... После, по этомй категории проходит по страницам, в зависимости от их количества и парсит ссылку с каждого объявления на этой странице и записывает в файл. Потому и каждый поток, отработав свою ссылку, опять начинает повторять.
Скиньте ссылку на любую категорию
-
@sadsd111 said in Многопоток + парсер:
@Fox У меня таков алгоритм скрипта : БАС заходит на страницу / категорию?page=... После, по этомй категории проходит по страницам, в зависимости от их количества и парсит ссылку с каждого объявления на этой странице и записывает в файл. Потому и каждый поток, отработав свою ссылку, опять начинает повторять.
Повторюсь, вашу задачу проще решить используя ресурсы. Создайте локальный ресурс и запишите все данные в него, а во вновь запущенных потоках используйте этот локальный ресурс
-
@sadsd111 said in Многопоток + парсер:
@Fox А есть пример как это сделать?
Сделать что? Вам нужно выполнить действие "Создать Ресурс" и следом "Список В Ресурс"
-
Мне нужно реализовать многопоток с разными страницами в каждом потоке
https://www.сайт.домен&p=номер страницыЕсть варианты:
- https://www.сайт.домен&p=[[THREAD_INDEX]] + [[CYCLE_INDEX]]
- Создать ресурс и заполнить его номерами страниц (Выходит ошибка в сообщении выше)
- ???
-
@sadsd111 said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:
Мне нужно реализовать многопоток с разными страницами в каждом потоке
https://www.сайт.домен&p=номер страницыЕсть варианты:
- https://www.сайт.домен&p=[[THREAD_INDEX]] + [[CYCLE_INDEX]]
- Создать ресурс и заполнить его номерами страниц (Выходит ошибка в сообщении выше)
- ???
-
@sadsd111 said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:
@Fox Извините, а как скрипт правильно открыть?
Копирую код в test.xml и выходит сообщение: "Ошибка загрузки файла : Expected '#' or '[a-zA-Z]', but got '&'."правой клавишей на ссылку нажмите и в выпадающем меню выберите "сохранить как"
-
@Fox said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:
@sadsd111 said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:
Мне нужно реализовать многопоток с разными страницами в каждом потоке
https://www.сайт.домен&p=номер страницыЕсть варианты:
- https://www.сайт.домен&p=[[THREAD_INDEX]] + [[CYCLE_INDEX]]
- Создать ресурс и заполнить его номерами страниц (Выходит ошибка в сообщении выше)
- ???
Спасибо за скрипт. Решил проблему.
Все создается в OnApplicationStart
- Создаем список [[НАЗВАНИЕ]]
- Создаем цикл FOR от "1" до "100" - 1 и 100 номера страниц
- В цикле FOR создаем действие "Добавить Элемент" и в нем в "Переменная, содержащая список" указываем список [[НАЗВАНИЕ]] из п.1 , а в "Значение для добавления" выбираем переменную [[CYCLE_INDEX]]
- Выбираем действие создать ресурс. В настройках ресурса ставите свое название и "Интервалы между использованиями " можете по дефолту оставить, а в остальных полях ставите единицу.
- Преобразуем список в ресурс "Имя ресурса" берем из п.4 , а "Переменная со списком" из п.1
-
@Fox said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:
@sadsd111 said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:
@Fox Извините, а как скрипт правильно открыть?
Копирую код в test.xml и выходит сообщение: "Ошибка загрузки файла : Expected '#' or '[a-zA-Z]', but got '&'."правой клавишей на ссылку нажмите и в выпадающем меню выберите "сохранить как"
Тоже разобрался с проблемой.
У кого тоже не скачивается скрипт, а открывается в браузере:- Кликаем на скрипт, код скрипта откроется в браузере
- Нажимаем ПКМ из списка выбираем действие "Исследовать элемент"
- Переходим во вкладку "Sources"
- С левой стороны будет файл с расширением .xml
- Жмем по нему ПКМ и жмем "Safe as"
