сложные многопоточные скрипты с вложенными задачами

[Turutur]

Ребята подскажите пожалуйста алгоритм - как реализовать?
цель - спарсить данные по ключам в МНОГОПОТОКЕ
здесь сложностей нет - парсим и кладем в список или в ресурс пишем или в файл, но возникает следующая ситуация - например собрали список по ключам с 10 ти потоков - и сложили все в список - писать в файл не вариант - хочется работать локально внутри скрипта - чтобы не превращать все в свалку файлов - далее нужно обработать список - убрать дубликаты и так же в многопотоке далее будем использовать его строки для последующей обработки - и получается, что если скрипт у нас запущен на 10 потоках - то и все обращения к полученному списку так же будут идти с 10 потоков??? - все всои скрипты я бью на части - шаг 1, шаг 2 и тд...
Кто как поступает в таких случаях?

[artihorror]

каждый поток будет создавать и обращаться к своему списку. чтоб не было свалки файлов, после после получения итогового файла удалять остальные.