Не загружает URL



  • Ещё раз здравствуйте.

    Не загружается URL, выкидывает с ошибкой "[12:38:54] Thread #1 : Thread failed with message "Timeout during LoadPage http://websta.me/search/""

    Какие настройки нужно поставить, чтобы работать с этим сайтом?

    Заранее спасибо!



  • Здравствуйте.
    У меня вроде загрузился.
    0_1460721321592_Websta.png
    Если не успевает загрузиться, попробуй отключить картинки или что-то еще, что он грузит.

    0_1460721445719_WebstaNetwork.png

    Тут детальней
    http://wiki.bablosoft.com/doku.php?id=how_to_restrict_access_to_certain_urls



  • А как запретить подгрузку айфреймов, например?

    Спасибо.



  • @Ravil нужно найти, какой урл грузится в iframe и составить маску для него.

    https://www.youtube.com/watch?v=UTrYzXNcb_0



  • Спасибо.

    А не планируете какой-нить модуль типа имитатора AdBlock вставить?

    Или это слишком трудозатратно?



  • И ещё: можно в лог писать просто значения, без вот этого вот (жирным шрифтом):

    **[18:31:21] Thread #1 : **что-нибудь такое

    ?



  • @Ravil said:

    Спасибо.

    А не планируете какой-нить модуль типа имитатора AdBlock вставить?

    Или это слишком трудозатратно?

    Так есть, же. Любой запрос можно отклонить или закэшировать.

    @Ravil said:

    И ещё: можно в лог писать просто значения, без вот этого вот (жирным шрифтом):

    **[18:31:21] Thread #1 : **что-нибудь такое

    ?

    Пока нет.



  • Ещё вопрос: как мне получить в логах одной строчкой запись такого вида:

    #хэштег ; кол-во таких хэштегов.

    Пока что выходит только одна колонка со словами, вторая с цифрами, их надо вручную склеивать и т.д.

    Скрипт прилагаю.

    Есть способ сразу в одну строку всё запихать?

    Заранее спасибо.

    0_1460738948 оч963_Hashtag_Sucker.xml



  • Первый слип не нужен, второй тоже, как и ресайз так как любые действия с элементом будут автоматом ждать пока элемент появится на странице.
    Можете в цикле проходить не по ячейкам, а по каждой строке.
    Для этого нужно установить селектор в .tags > *

    hashtag_sucker.xml

    0_1460756821463_ResultsHashtag.png



  • Спасибо, понял - я не догадался вот так сделать: ".tags > *".



  • А как всё-таки правильнее всего организовать цикл, чтобы программа брала из файла по одной строчке, и когда строчки заканчивались, завершала цикл?



  • И ещё - почему-то из файла каждый раз забирается только первая строчка, остальные не грузятся:

    http://prntscr.com/asv10e

    Почему так может быть?



  • @Ravil said:

    А как всё-таки правильнее всего организовать цикл, чтобы программа брала из файла по одной строчке, и когда строчки заканчивались, завершала цикл?

    Чтобы выполнять действия в цикле нужно убрать галку "Повторное использование" при использования ресурса. Но при этом невозможно использовать многопоточность.
    alt text
    alt text
    alt text
    alt text
    ForEachInFile.xml

    @Ravil said:

    И ещё - почему-то из файла каждый раз забирается только первая строчка, остальные не грузятся:

    http://prntscr.com/asv10e

    Почему так может быть?

    Потому что успешных выполнений выставлено в 1.
    Выставь "Максимальное число удачных запусков" в 10000 и скрипт закончится когда закончатся строки в файле.
    Еще можно выставить количество потоков и автоматически появится могопоточность.
    Подробнее


Log in to reply