Выполнялась задача по парсингу ссылок. 500 ссылок парсились около 2-3 часов. Скрипт работал крайне медленно, заедал, ресурсов у компьютера брал около 30%.
Что сделать для ускорения, более стабильной работы BAS?
2-3 часа это много...для 500
У меня парсер собирает инфу с 25 000 стр. и по времени 1.5 часа.
Правда в 20 потоков и все на гет.
У Вас скорее всего работа через браузер и в 1 поток
Проверил твою проксю и в зенке и в БАСе, нигде не работает
скорей всего это кавычки в пароле виноваты, или уже нет доступа к этой проксе
формат {login}:{pass}@{domain}:{port} и {login}:{pass}@{IP}:{port} в БАСе прекрасно работают
а вот в зенке не все резидентные прокси в таких форматах работают
@spark911 Не рукаптча2, а РЕКАПТЧА2.
Чтобы ускорить не нужно ждать когда она будет решена. Достаточно просто вставить готовый токен в скрытые поле. Для этого на стороне запусти решалку каптчей и складывай в текстовик (это простой вариант), а другие потоки пусть черпают оттуда ответ. Валидность ответа всего 2 минуты.
Можно заморочиться и запилить базу данных каптчей с таймером 2 минуты и самоочистку.
Да, вменяемые уроки. Оригинальные видеоуроки по 2-3 часа с монотонным голосом вгоняют в сон. Главное : 1 фича - 1 ролик. А не пласты теории в которых копаться надо
