Короче долбалса вчера с переносом куков через базу и понял что неблогадарное ето дело. Видно на слабых пк скрипт не хочет витаскивать дание типа куки 150 кб. один запись. В итоге понял что насторить роботу через ftp модуль мне лишним не будет. И хочу сказать роботает хорошо. Процес такой - Надо мне обработать какойто профайл с удальонного впс на другом компе. я просто скачиваю файл Cookies на второй пк через модуль фтп. В итоге сайт нормально подгружаетса. Но решил только один файл куки качать. С целой папкой профалом долго и обрыв может быть если в то время будет изменятса папка профайл. И вопрос. может ище что скачать для безпроблемной авторизации, Подскажите что будет полезно и содержитса в одном файле как куки. И остаетса вопрос сайти могут увидеть какието пробели в куках, или доругой инфе, что идет с профайла? Но роботает. И врятли я не буду так делать Но хочетса знать что можно подпарвить
spoilerКак ускорить запуск потоков?
-
Бас даёт возможность запустить примерно 10-15 паралельных потоков выполнения скрипта одновременно.
Из-за того, что потоки создаются медленно получается ситуация, когда примерно 10-15й поток стартует в момент когда 1й поток завершает выполнение. Из-за этого получается ситуация , что ЦП загружен только на 20%, т.к. не стартует 50-75 потоков одномоментно.Вышел из ситуации таким образом: запустил паралельно 5 копий BAS , и запустил 5 копий скрипта парельно.
Результатом, в принципе, доволен. Но приходится разделять ресурсы, что немного неудобно.
Возможно есть способ запускать большее количество потоков одномоментно из 1й копии BAS без танцев с бубном?
-
@FastSpace
Когда запускаю 50 потоков на 1 копии БАС. Визуально грузятся только 10-15. За 1 минуту времени могу зайти на 15 профилей на целевом ресурсе.Когда запускаю 15 потоков на 5ти копия БАС то за 1 минуту времени могу зайти на 75 профилей на целевом ресурсе.
-
@FastSpace он же говорит, что потоки завершаются быстрей чем открываются. Бас создаёт браузеры по одному, так что ничего тут не сделать.
-
Тут что-то меняли?
-
@BAS_BEGINNING Настройка одновременных запусков, если что не работает.
-
@UserTrue said in Как ускорить запуск потоков?:
@FastSpace он же говорит, что потоки завершаются быстрей чем открываются. Бас создаёт браузеры по одному, так что ничего тут не сделать.
Да, точно. 150 не поможет, скорость открытия не увеличится от этого, вообще странно, не сталкивался с таким. У меня за минуту 20 открываются точно, хватает.
-
@BAS_BEGINNING Ничего не менял
-
@BAS_BEGINNING где найти эти настройки?
-
Example #1. You have a script which parses a list of links and want to get its content. Of cource, you can create a loop, iterate over them and parse. But in this case links will be processed one by one - sequentially. With this action you can process them in parallel. Create resource, write all links there and call parsing functions in several threads
-
@FastSpace этого для чекеров бывает проблемой )
