@sergerdn
понял,
надо было запускать 10 потоков, открывать 10 портов на прокси сервисе, и каждому потоку присвоить свой порт для дальнейшей работы в цикле
ну мы решили вопрос через глобальные списки вроде, получилось
@Fox Есть маленькое но, но думаю оно так и должно работать
если установить заголовок реферер, а потом загрузить страницу не указав в этом поле ничего, то будет пустым. Но видимо перезаписывает.
@Guliver
на странице подкатегорий очевидно нет элементов который обходит цикл для всех
вполне решение сначала собрать все нужные ссылки спомощью для каждого в масив, затем обойти масив фореач или использовать заместо циклеИндекс кастомный индекс