100 потоков, 15 циклов и 1 млн строк

Поддержка
  • Здравствуйте.
    Надо распарсить 1 млн запросов, беря из файла 1 млн логинов.
    На каждый поток ставлю по одному прокси, который может сделать к сервису не более 15 запросов.
    Если делаю цикл, то внутри цикла используется только первые 15 логинов и всё.
    Как мне сделать так, чтобы бас забирал логины последовательно?
    То есть, запустились 100 потоков, каждый взял по 15 логинов из файла, то есть первые 1500 логинов из миллиона ушли в работу. Дальше потоки отрабатывают и берут следующие порции по 15 уникальных логинов.
    Как это сделать? Смотрю видео про ресуры, асинхронные функции, но не понимаю)

  • Сейчас у меня на каждый поток по 1 логину, то есть чтобы обработать 1 млн логинов, мне надо 1 млн потоков открыть) А зачем, если можно внутри каждого потока использовать циклы и упростить задачу в 15 раз.

  • асинхронную функцию используй. отправляй в нее по 15 логинов

  • 0 Votes
    1 Posts
    250 Views
  • 0 Votes
    3 Posts
    368 Views
  • 0 Votes
    6 Posts
    869 Views
  • 0 Votes
    2 Posts
    486 Views
  • 0 Votes
    8 Posts
    2622 Views