Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы (РЕШЕНО)
-
Здравствуйте!
Как можно реализовать многопоток с разными страницами в каждом потоке
https://www.сайт.домен&p=номер страницыПроблема решена. Решение ниже:
Все создается в OnApplicationStart
- Создаем список [[НАЗВАНИЕ]]
- Создаем цикл FOR от "1" до "100" - 1 и 100 номера страниц
- В цикле FOR создаем действие "Добавить Элемент" и в нем в "Переменная, содержащая список" указываем список [[НАЗВАНИЕ]] из п.1 , а в "Значение для добавления" выбираем переменную [[CYCLE_INDEX]]
- Выбираем действие создать ресурс. В настройках ресурса ставите свое название и "Интервалы между использованиями " можете по дефолту оставить, а в остальных полях ставите единицу.
- Преобразуем список в ресурс "Имя ресурса" берем из п.4 , а "Переменная со списком" из п.1
@Fox прикрепил скрипт. Можете его посмотреть.
У кого тоже не скачивается скрипт, а открывается в браузере:
- Кликаем на скрипт, код скрипта откроется в браузере
- Нажимаем ПКМ из списка выбираем действие "Исследовать элемент"
- Переходим во вкладку "Sources"
- С левой стороны будет файл с расширением .xml
- Жмем по нему ПКМ и жмем "Safe as"
-
@sadsd111 said in Многопоток + парсер:
Здравствуйте!
Как сделать, чтобы парсинг происходил во многопотоке? Чтобы каждый поток брал новую ссылку и она не повторялась в другом потоке.используйте ресурсы
-
@Fox У меня таков алгоритм скрипта : БАС заходит на страницу / категорию?page=... После, по этомй категории проходит по страницам, в зависимости от их количества и парсит ссылку с каждого объявления на этой странице и записывает в файл. Потому и каждый поток, отработав свою ссылку, опять начинает повторять.
-
@sadsd111 said in Многопоток + парсер:
@Fox У меня таков алгоритм скрипта : БАС заходит на страницу / категорию?page=... После, по этомй категории проходит по страницам, в зависимости от их количества и парсит ссылку с каждого объявления на этой странице и записывает в файл. Потому и каждый поток, отработав свою ссылку, опять начинает повторять.
Скиньте ссылку на любую категорию
-
@sadsd111 said in Многопоток + парсер:
@Fox У меня таков алгоритм скрипта : БАС заходит на страницу / категорию?page=... После, по этомй категории проходит по страницам, в зависимости от их количества и парсит ссылку с каждого объявления на этой странице и записывает в файл. Потому и каждый поток, отработав свою ссылку, опять начинает повторять.
Повторюсь, вашу задачу проще решить используя ресурсы. Создайте локальный ресурс и запишите все данные в него, а во вновь запущенных потоках используйте этот локальный ресурс
-
-
@sadsd111 said in Многопоток + парсер:
@Fox А есть пример как это сделать?
Сделать что? Вам нужно выполнить действие "Создать Ресурс" и следом "Список В Ресурс"
-
Мне нужно реализовать многопоток с разными страницами в каждом потоке
https://www.сайт.домен&p=номер страницыЕсть варианты:
- https://www.сайт.домен&p=[[THREAD_INDEX]] + [[CYCLE_INDEX]]
- Создать ресурс и заполнить его номерами страниц (Выходит ошибка в сообщении выше)
- ???
-
@sadsd111 said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:
Мне нужно реализовать многопоток с разными страницами в каждом потоке
https://www.сайт.домен&p=номер страницыЕсть варианты:
- https://www.сайт.домен&p=[[THREAD_INDEX]] + [[CYCLE_INDEX]]
- Создать ресурс и заполнить его номерами страниц (Выходит ошибка в сообщении выше)
- ???
-
-
@sadsd111 said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:
@Fox Извините, а как скрипт правильно открыть?
Копирую код в test.xml и выходит сообщение: "Ошибка загрузки файла : Expected '#' or '[a-zA-Z]', but got '&'."правой клавишей на ссылку нажмите и в выпадающем меню выберите "сохранить как"
-
@Fox said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:
@sadsd111 said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:
Мне нужно реализовать многопоток с разными страницами в каждом потоке
https://www.сайт.домен&p=номер страницыЕсть варианты:
- https://www.сайт.домен&p=[[THREAD_INDEX]] + [[CYCLE_INDEX]]
- Создать ресурс и заполнить его номерами страниц (Выходит ошибка в сообщении выше)
- ???
Спасибо за скрипт. Решил проблему.
Все создается в OnApplicationStart
- Создаем список [[НАЗВАНИЕ]]
- Создаем цикл FOR от "1" до "100" - 1 и 100 номера страниц
- В цикле FOR создаем действие "Добавить Элемент" и в нем в "Переменная, содержащая список" указываем список [[НАЗВАНИЕ]] из п.1 , а в "Значение для добавления" выбираем переменную [[CYCLE_INDEX]]
- Выбираем действие создать ресурс. В настройках ресурса ставите свое название и "Интервалы между использованиями " можете по дефолту оставить, а в остальных полях ставите единицу.
- Преобразуем список в ресурс "Имя ресурса" берем из п.4 , а "Переменная со списком" из п.1
-
@Fox said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:
@sadsd111 said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:
@Fox Извините, а как скрипт правильно открыть?
Копирую код в test.xml и выходит сообщение: "Ошибка загрузки файла : Expected '#' or '[a-zA-Z]', but got '&'."правой клавишей на ссылку нажмите и в выпадающем меню выберите "сохранить как"
Тоже разобрался с проблемой.
У кого тоже не скачивается скрипт, а открывается в браузере:- Кликаем на скрипт, код скрипта откроется в браузере
- Нажимаем ПКМ из списка выбираем действие "Исследовать элемент"
- Переходим во вкладку "Sources"
- С левой стороны будет файл с расширением .xml
- Жмем по нему ПКМ и жмем "Safe as"
