Выполнялась задача по парсингу ссылок. 500 ссылок парсились около 2-3 часов. Скрипт работал крайне медленно, заедал, ресурсов у компьютера брал около 30%.
Что сделать для ускорения, более стабильной работы BAS?
2-3 часа это много...для 500
У меня парсер собирает инфу с 25 000 стр. и по времени 1.5 часа.
Правда в 20 потоков и все на гет.
У Вас скорее всего работа через браузер и в 1 поток
Подскажите, пожалуйста, пытаюсь после браузера работать с http. Куки грузятся, юзерагент, язык и все остальные заголовки идентичны. Но при попытке войти через http cloudflare блочит запрос и просит решать капчу. Какие еще моменты я мог не предусмотреть чтобы залогиниться и обойти клауд?
@dobrok, спасибо больше.. Теперь даже без ресурсов можно.. Просто раньше я даже эту галочку вроде как не трогал, но всё равно через повторку работало..-.. А щас нет.
