сложные многопоточные скрипты с вложенными задачами

Поддержка
  • Ребята подскажите пожалуйста алгоритм - как реализовать?
    цель - спарсить данные по ключам в МНОГОПОТОКЕ
    здесь сложностей нет - парсим и кладем в список или в ресурс пишем или в файл, но возникает следующая ситуация - например собрали список по ключам с 10 ти потоков - и сложили все в список - писать в файл не вариант - хочется работать локально внутри скрипта - чтобы не превращать все в свалку файлов - далее нужно обработать список - убрать дубликаты и так же в многопотоке далее будем использовать его строки для последующей обработки - и получается, что если скрипт у нас запущен на 10 потоках - то и все обращения к полученному списку так же будут идти с 10 потоков??? - все всои скрипты я бью на части - шаг 1, шаг 2 и тд...
    Кто как поступает в таких случаях?

  • каждый поток будет создавать и обращаться к своему списку. чтоб не было свалки файлов, после после получения итогового файла удалять остальные.

  • Работа с xpath

    Поддержка
    0 Votes
    5 Posts
    539 Views
  • 0 Votes
    4 Posts
    617 Views
  • Работа с json

    Поддержка
    0 Votes
    3 Posts
    727 Views
  • 0 Votes
    4 Posts
    766 Views
  • 0 Votes
    8 Posts
    1478 Views