100 потоков, 15 циклов и 1 млн строк

Поддержка
  • Здравствуйте.
    Надо распарсить 1 млн запросов, беря из файла 1 млн логинов.
    На каждый поток ставлю по одному прокси, который может сделать к сервису не более 15 запросов.
    Если делаю цикл, то внутри цикла используется только первые 15 логинов и всё.
    Как мне сделать так, чтобы бас забирал логины последовательно?
    То есть, запустились 100 потоков, каждый взял по 15 логинов из файла, то есть первые 1500 логинов из миллиона ушли в работу. Дальше потоки отрабатывают и берут следующие порции по 15 уникальных логинов.
    Как это сделать? Смотрю видео про ресуры, асинхронные функции, но не понимаю)

  • Сейчас у меня на каждый поток по 1 логину, то есть чтобы обработать 1 млн логинов, мне надо 1 млн потоков открыть) А зачем, если можно внутри каждого потока использовать циклы и упростить задачу в 15 раз.

  • асинхронную функцию используй. отправляй в нее по 15 логинов

  • worker3 и worker4

    Поддержка
    0 Votes
    4 Posts
    555 Views
  • 0 Votes
    3 Posts
    379 Views
  • 0 Votes
    8 Posts
    852 Views
  • 0 Votes
    16 Posts
    1525 Views
  • 0 Votes
    7 Posts
    1248 Views