Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы (РЕШЕНО)

[sadsd111]

Здравствуйте!
Как можно реализовать многопоток с разными страницами в каждом потоке
https://www.сайт.домен&p=номер страницы

Проблема решена. Решение ниже:

Все создается в OnApplicationStart

• Создаем список [[НАЗВАНИЕ]]
• Создаем цикл FOR от "1" до "100" - 1 и 100 номера страниц
• В цикле FOR создаем действие "Добавить Элемент" и в нем в "Переменная, содержащая список" указываем список [[НАЗВАНИЕ]] из п.1 , а в "Значение для добавления" выбираем переменную [[CYCLE_INDEX]]
• Выбираем действие создать ресурс. В настройках ресурса ставите свое название и "Интервалы между использованиями " можете по дефолту оставить, а в остальных полях ставите единицу.
• Преобразуем список в ресурс "Имя ресурса" берем из п.4 , а "Переменная со списком" из п.1

@Fox прикрепил скрипт. Можете его посмотреть.

У кого тоже не скачивается скрипт, а открывается в браузере:

• Кликаем на скрипт, код скрипта откроется в браузере
• Нажимаем ПКМ из списка выбираем действие "Исследовать элемент"
• Переходим во вкладку "Sources"
• С левой стороны будет файл с расширением .xml
• Жмем по нему ПКМ и жмем "Safe as"

[Fox]

@sadsd111 said in Многопоток + парсер:

Здравствуйте!
Как сделать, чтобы парсинг происходил во многопотоке? Чтобы каждый поток брал новую ссылку и она не повторялась в другом потоке.

используйте ресурсы

[sadsd111]

@Fox У меня таков алгоритм скрипта : БАС заходит на страницу / категорию?page=... После, по этомй категории проходит по страницам, в зависимости от их количества и парсит ссылку с каждого объявления на этой странице и записывает в файл. Потому и каждый поток, отработав свою ссылку, опять начинает повторять.

[A Former User]

@sadsd111 said in Многопоток + парсер:

@Fox У меня таков алгоритм скрипта : БАС заходит на страницу / категорию?page=... После, по этомй категории проходит по страницам, в зависимости от их количества и парсит ссылку с каждого объявления на этой странице и записывает в файл. Потому и каждый поток, отработав свою ссылку, опять начинает повторять.

Скиньте ссылку на любую категорию

[sadsd111]

@Dodok https://www.avito.ru/moskva/tovary_dlya_kompyutera/komplektuyuschie/materinskie_platy-ASgBAgICAkTGB~pm7gnOZw?cd=1&p=2

[Fox]

@sadsd111 said in Многопоток + парсер:

@Fox У меня таков алгоритм скрипта : БАС заходит на страницу / категорию?page=... После, по этомй категории проходит по страницам, в зависимости от их количества и парсит ссылку с каждого объявления на этой странице и записывает в файл. Потому и каждый поток, отработав свою ссылку, опять начинает повторять.

Повторюсь, вашу задачу проще решить используя ресурсы. Создайте локальный ресурс и запишите все данные в него, а во вновь запущенных потоках используйте этот локальный ресурс

[sadsd111]

@Fox А есть пример как это сделать?

[Fox]

@sadsd111 said in Многопоток + парсер:

@Fox А есть пример как это сделать?

Сделать что? Вам нужно выполнить действие "Создать Ресурс" и следом "Список В Ресурс"

[sadsd111]

Сделал ресурс заполняю его В OnApplicationStart Файл заполняется страницами(числами) и доходя до конца завершается с ошибкой

[sadsd111]

Мне нужно реализовать многопоток с разными страницами в каждом потоке
https://www.сайт.домен&p=номер страницы

Есть варианты:

1. https://www.сайт.домен&p=[[THREAD_INDEX]] + [[CYCLE_INDEX]]
2. Создать ресурс и заполнить его номерами страниц (Выходит ошибка в сообщении выше)
3. ???

[Fox]

@sadsd111 said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:

Мне нужно реализовать многопоток с разными страницами в каждом потоке
https://www.сайт.домен&p=номер страницы

Есть варианты:

1. https://www.сайт.домен&p=[[THREAD_INDEX]] + [[CYCLE_INDEX]]
2. Создать ресурс и заполнить его номерами страниц (Выходит ошибка в сообщении выше)
3. ???

2023.xml

[sadsd111]

@Fox Извините, а как скрипт правильно открыть?
Копирую код в test.xml и выходит сообщение: "Ошибка загрузки файла : Expected '#' or '[a-zA-Z]', but got '&'."

[Fox]

@sadsd111 said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:

@Fox Извините, а как скрипт правильно открыть?
Копирую код в test.xml и выходит сообщение: "Ошибка загрузки файла : Expected '#' or '[a-zA-Z]', but got '&'."

правой клавишей на ссылку нажмите и в выпадающем меню выберите "сохранить как"

[sadsd111]

@Fox said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:

@sadsd111 said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:

Мне нужно реализовать многопоток с разными страницами в каждом потоке
https://www.сайт.домен&p=номер страницы

Есть варианты:

1. https://www.сайт.домен&p=[[THREAD_INDEX]] + [[CYCLE_INDEX]]
2. Создать ресурс и заполнить его номерами страниц (Выходит ошибка в сообщении выше)
3. ???

2023.xml

Спасибо за скрипт. Решил проблему.

Все создается в OnApplicationStart

• Создаем список [[НАЗВАНИЕ]]
• Создаем цикл FOR от "1" до "100" - 1 и 100 номера страниц
• В цикле FOR создаем действие "Добавить Элемент" и в нем в "Переменная, содержащая список" указываем список [[НАЗВАНИЕ]] из п.1 , а в "Значение для добавления" выбираем переменную [[CYCLE_INDEX]]
• Выбираем действие создать ресурс. В настройках ресурса ставите свое название и "Интервалы между использованиями " можете по дефолту оставить, а в остальных полях ставите единицу.
• Преобразуем список в ресурс "Имя ресурса" берем из п.4 , а "Переменная со списком" из п.1

[sadsd111]

@Fox said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:

@sadsd111 said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:

@Fox Извините, а как скрипт правильно открыть?
Копирую код в test.xml и выходит сообщение: "Ошибка загрузки файла : Expected '#' or '[a-zA-Z]', but got '&'."

правой клавишей на ссылку нажмите и в выпадающем меню выберите "сохранить как"

Тоже разобрался с проблемой.
У кого тоже не скачивается скрипт, а открывается в браузере:

• Кликаем на скрипт, код скрипта откроется в браузере
• Нажимаем ПКМ из списка выбираем действие "Исследовать элемент"
• Переходим во вкладку "Sources"
• С левой стороны будет файл с расширением .xml
• Жмем по нему ПКМ и жмем "Safe as"

[Alex84]

@sadsd111