Парсер информации с одного профиля в многопоточном режиме (вопрос)

[lisialoss]

Доброго времени суток всем. Никак не могу решить вопрос по поводу парсинга с одного аккаунта всех юзеров. Если парсить на одном потоке 100 млн, то уйдёт очень много времени.

Вот конец запроса на скролинг
limit=10&offset=10
limit=10&offset=20
limit=10&offset=30
и т.д.

Как спарсить всех подписчиков на чтобы потоки не пересекались? Иначе будет неимоверно много дублей.

Буду благодарен за любую помощь.
P.S. Схожие темы не удалось найти... Смотрел стрим 5-и часовой который. Там схожая ситуация, но так и не была решена.

[Fox]

@lisialoss said in Парсер информации с одного профиля в многопоточном режиме (вопрос):

Доброго времени суток всем. Никак не могу решить вопрос по поводу парсинга с одного аккаунта всех юзеров. Если парсить на одном потоке 100 млн, то уйдёт очень много времени.

Вот конец запроса на скролинг
limit=10&offset=10
limit=10&offset=20
limit=10&offset=30
и т.д.

Как спарсить всех подписчиков на чтобы потоки не пересекались? Иначе будет неимоверно много дублей.

Буду благодарен за любую помощь.
P.S. Схожие темы не удалось найти... Смотрел стрим 5-и часовой который. Там схожая ситуация, но так и не была решена.

разбейте заранее все ссылки и поместите в ресурс, а затем запускайте функцию в многопотоке с использованием этого ресурса

[lisialoss]

@Fox это получится 10 млн+ ссылок. А как можно быстро это сделать? Может есть какие-то специализированные софты? Ексель столько строк не сделает.

[Fox]

@lisialoss said in Парсер информации с одного профиля в многопоточном режиме (вопрос):

@Fox это получится 10 млн+ ссылок. А как можно быстро это сделать? Может есть какие-то специализированные софты? Ексель столько строк не сделает.

Используйте BAS и результат записывайте в базу

[lisialoss]

@Fox Только что попробовал, долго в один поток. В этом случае тоже нужен многопоток. И получается, что вопрос тот же, что и в начале.

[Fox]

@lisialoss said in Парсер информации с одного профиля в многопоточном режиме (вопрос):

@Fox Только что попробовал, долго в один поток. В этом случае тоже нужен многопоток. И получается, что вопрос тот же, что и в начале.

Долго составлять список ссылок? Ну разделите и его на многопоток, создайте ресурс по сотням и используйте его в многопотоке в циклах для генерации ссылок.. но что то это всё очень похоже на какой то огород..

[lisialoss]

@Fox Хорошо. Буду пробовать, думал есть решение без списка ссылок. В любом случае Спасибо за отклик.

[Fox]

@lisialoss said in Парсер информации с одного профиля в многопоточном режиме (вопрос):

@Fox Хорошо. Буду пробовать, думал есть решение без списка ссылок. В любом случае Спасибо за отклик.

есть решение и без списка ссылок, например в цикле сразу создавать асинхронные потоки с определённым промежутком ссылок. А результат скидывать в ресурс