Парсинг с авторизацией

[MRM1987]

@paini Так дело в том что парсит например 200 ссылок и все ок. Потом в одном месте стопорится и все. Я не думаю что на конкретной странице верстка другая и xpath другой.

[paini]

@MRM1987 у меня была такая же проблема,но дело было в качестве прокси

[paini]

Сделай проверку данных,например игнорь ошибку,а после проверяй актуальность данных и если они присутствуют,то продолжай,если нет,то просто удаляй ....

[MRM1987]

Не думаю что проблема в прокси. На сайте кажеться вообще никакой защиты кроме авторизации по фейсбук. Датакол собрал ссылки в несколько потоков без прокси и все ок.

[paini]

@MRM1987 У тебя в первом действии получить текст не снята галка

[paini]

И так же я не вижу ни одного действия,которое удаляло бы строки данных.Ни в исходном файле ни из загружаемого списка.

[paini]

@paini said in Парсинг с авторизацией:

@MRM1987 У тебя в первом действии получить текст не снята галка

Поэтому и возникает твоя первая ошибка

[MRM1987]

@paini Спасибо большое ! Сейчас запущу тест.

[MRM1987]

@paini Галочки убрал где нужно. Появились ошибки таймаута по загрузке старниц- поставил игнор ошибок. Работает пока не вылазит такая ошибка Таймаут во время выполнения lenght for[documentRoot all .map] - сталкивались с таким ?

[MRM1987]

@paini Поищу сохраненные файлы, перероблял скрипт много раз - ничего не получалось.

[paini]

@MRM1987 С таким не сталкивался.Вам бы лучше через ресурс работать,не как у вас в цикле сейчас сделано