Можно ли как-то закрыть поток (браузер), если допустим больше 10 минут что-то висит? т.е. бывают ошибки из за слабых прокси или еще как, хотелось бы закрывать при достижении времени
@clocky sbros / success/fail
zameryaesh vremya cherez Date.now() v peremennuyu pered zagruzkoy
v cycle proveryaesh if (YOUR_VAR+600000) >Date.now() => proshlo 10 min i delaesh sbros/fail/success
@kolanthony Широкий экран - это, скорее всего, планшет. Возможно, сайт немного по-разному обрабатывает клиента со смартфона и планшета, поэтом у вас всё встаёт. Ну, а по-нормальному, чтобы вам помогли, дайте хотя бы сайт. А лучше тестовый скрипт
2-3 часа это много...для 500
У меня парсер собирает инфу с 25 000 стр. и по времени 1.5 часа.
Правда в 20 потоков и все на гет.
У Вас скорее всего работа через браузер и в 1 поток