Парсер прокси с hideme



  • Ребята сделал - парсер прокси "для себя" - работает отлично - время работы 15-19 секунд - на выдаче более 100 прокси - выкладываю проект для примера - есть очень интересные нюансы построения шаба - виды сбора прокси меняете ручками - все просто и логично. Кому стал полезен не забываем поблагодарить +1∧
    0_1472127181865_proxi_parse_hideme.xml


  • administrators

    @Turutur Вы не против, если я включу проект в стандартные примеры, которые идут вместе с БАС?



  • @support said in Парсер прокси с hideme:

    Вы не против, если я включу проект в стандартные примеры, которые идут вместе с БАС?

    Я только за буду. Надо как-то активность развивать на форуме. Спасибо - большое дело делаете!



  • Только разбираюсь в программе, не судите строго. В папке "BrowserAutomationStudio" создаю папки "projects/proxy_parse", куда кладу .xml файл (также пробовал "apps/15.0.0/examples"). После, в режиме "Запись", выбираю имя файла (пробовал как новый файл, так и выбирать заранее созданный), запускаю скрипт, в браузере вижу как открывается страница, ставятся галочки, затем в функции парсинга вижу как проходит цикл, затем начинается вновь. Но в итоге файл, в любом случае, пустой. Если проект запускать просто на выполнение, то процесс долго висит, а потом в логе выдаёт следующее:

    "Удачно(0)
    Неудач(1)
    Сообщения:
    1 - Не удалось дождаться элемента .pform_type > :nth-child(3) > .checktext
    Время работы : 02:13
    Последнее сообщение : Слишком Много Ошибок"

    Что я делаю не так?



  • @errorist Да я проверил работу скрипта - проблема не на вашей стороне - все дело в том, что спарсенные значения сначала попадают в список (переменную) и уже после полного получения данных записываются в файл выбранный пользователем - и если файла нет то он создается.

    Сейчас вылезла ошибка в скрипте на моменте "прокрутки к элементу" - стрелка перехода на следующую страницу. Это проблема связанна только с Hideme - у них, как сказал Админ - переназначенны функции навигации в браузере и они тупо не работаю - я даже фикс вставлял, что дал Админ - ручками работает а функциями нет - короче видоизменил скрипт - теперь он берет данные с первой страницы - работает нормально - можете проверять.
    0_1472854525077_proxi_parse_hideme_red1.xml

    Да и смотрите скрипт выкладываю исходником - не скомпилированный - для того, чтобы Вы сами вникали, что-то можно ручками поправить.

    @support Админ, если прочтете - пробегитесь еще раз по теме с Hideme - http://community.bablosoft.com/topic/200/прокрутка-в-браузере/4
    Вроде бы в новой версии должен был быть фикс. И еще очень важный момент - заметил такую вещь, что BAS не исполняет действие навести курсор и нажать на элемент, если его не видно в данный момент в отображении браузера, хотя элемент присутствует на странице и является статичным, а не подгружаемым.



  • @Turutur на мой взгляд это хорошая идея, чтобы перед взаимодействием, - движением мышью и кликом, BAS сначала прокручивал страницу перемещая этот элемент в видимую область.



  • @zortexx said in Парсер прокси с hideme:

    на мой взгляд это хорошая идея, чтобы перед взаимодействием, - движением мышью и кликом, BAS сначала прокручивал страницу перемещая этот элемент в видимую область.

    Я тоже только За! Это максимально эмитирует действия пользователя в браузере! Но в описанном случае - это не срабатывает - и дело не в БАС!, так как на других сайтах все нормально работает - это проблема относится к конкретному сайту...


  • administrators

    @errorist Как правильно сказали выше, ошибка была в том, что прокрутка не работала в старой версии БАС на сайте hideme.
    Новая выйдет сегодня или завтра.



  • @support
    Проверил, не было времени отписаться, всё работает, спасибо.
    @Turutur
    Спасибо ещё раз за скрипт.