Дарю скрипт



  • Перевел учебный проксифайндер (который работает с hideme) на запросы и совместил с прокси-чекером
    (хотя не помню, может, он и был совмещенный, но не на запросах точно).
    За 6 секунд отработал 6 страничек.
    Пользуйтесь кому надо.
    0_1499236976050_proxy finder+checker.xml


  • administrators

    @Viktor Спасибо, переход на get-запросы это очень хорошо.
    Тут на форуме где то выкладывали прокси парсер который за минуту 20к уникальных прокси находит. С кучи разных сайтов.



  • @Fox Значит, я опоздал...Но этот скрипт работает с hide.me. Он же запрещает гет-запросы. Оказалось, надо всего лишь поставить юзер-агент и усе. :)


  • administrators

    @Viktor Глянул скрипт.
    Странички лучше парсить все, чем спрашивать у пользователя. Для этого можно получить на странице номер последней страницы.
    Устанавливать refer можно напрямую в экшене, не вставляя в переменную.
    Для файлов c:\good_http и c:\socks5_http лучше добавить расширение, хотябы txt.
    Функция proxy_pars пустая. Можно удалить. Функция zapreti есть, но ни где не используется. Да и экшен запретить загрузку работает в браузере и для get-запросов он не нужен.
    А остальное норм. Так держать!



  • @Fox спасибо :) Я знаю, что скрипт не доработан. Я его выложил только потому, что сайт запрещает запросы ( "Мне кажется, вы бот. Для ботов у нас предусмотрен отдельный API доступ за скромную плату. Это гораздо удобнее, чем парсить эту страницу."), а у меня разрешает:)
    Часа два возился, курил фидлер, потом понял, что нужно просто поставить юзер-агент:)
    Регуляркой из кукисов вытаскивал ид, приделывал его к ссылке...
    Как победил, на радостях выложил...Может, кому пригодится из новичков..



  • @Fox я бы парсил, пока не стала бы пустая переменная со списком. Так кажется быстрее.
    А как ставить refer в экшене?


  • administrators

    @Viktor Получить через Xpath номер последней страницы быстрее всего :). Плюс есть вероятность, что переменная со списком не будет пустой, когда страницы закончатся.
    Данные refer в экшене выглядят так:
    0_1499247233560_forum36.png



  • @Fox ааа, я понял в чем дело. Я исходил из того, что Реферер должен быть все время разный, с четко предыдущей страничкой. Потом понял, что это все не надо, а убрать забыл. Отсюда и переменная, которая менялась бы в конце цикла.



  • не-работает у меня :(



  • @Sigurd2017 что именно не работает?



  • @Viktor Вообще, при нажатии на пуск, он просто ничего неделает, и кнопки пуск и пауза становяться серыми, активными остаються только стоп и перезапустить. и ничего не-происходит.



  • @Sigurd2017, скрипт на запросах ведь, в окне браузера ничего не отобразится.



  • @UA Тогда результат же какойто он должен выдавать у меня кудато ? А то он так висит хоть пол часа, и ничего. Куда он сохраняет прокси тогда ?



  • @Sigurd2017, в корень диска C.



  • @Sigurd2017 это скрипт для ознакомления больше. Но свою работу делает, сохраняет в корень диска Це. гуд_хттп и гуд_сокс с соответствующими проксями..



  • скрипт не работает уже? 0 результатов



  • У меня что-то парсит и в конце выдаёт, что всё спрасил но.... нигде не сохраняет результат... я и в файле, который я указал смотрел... в на диске С, как здесь на форуме подсказывают... к сожалению нигде результатов не вижу...
    Поймите правильно, я не жалуюсь. Я благодарен автору, который потратил время, создал и выложил скрипт... я просто пытаюсь понять где найти сохранённые результаты...


  • administrators

    @aveko Открой скрипт в режиме "записи" и посмотри куда сохраняются результаты.



  • @Fox - Вот кому сказать - не поверят... Я специально пошёл и сделал всё как ты мне сказал... а там одна "Инициализация"... я думал глюк... открыл повторно... тоже самое... перезапустил BAS - тоже самое... закачал файл повторно... тоже самое... долго сидел у монитора и думал написать об этом или притвориться, как будто не увидел сообщение и просто забыть про этот скрипт... ну засмеют же... скажут, что глаза из одного места и т.п.... ну вот... теперь не знаю что делать... наверное попробую ещё комп перезагрузить... может это поможет... хотя при чём тут комп... ладно...


  • administrators

    @aveko Только что скачал скрипт из первого поста:
    0_1526410990973_upload-1049712a-96a6-4224-b6b6-9792cc89a604

    Возможно что то блокирует файл. После скачивания открой его в блокноте, он не должен быть пустым (сам файл весит у меня 45.2 КБ (46,369 байт))