Bablosoft

Спарсить сайт с авторизацией

Поддержка
  • F

    Здравствуйте. Необходимо спарсить сайт, на котором требуется авторизация. Каким образом это сделать.
    Есть задумка следующая:
    заходим через браузер на сайт, авторизуемся, подгружаем в http клиент данные куки из браузера и парсим страницы. Но что-то не работае...

    0

  • NikolasN

    Проблема с nodejs

    Поддержка
    0 Votes
    3 Posts
    2256 Views
    NikolasN

    @UserTrue said in Проблема с nodejs:

    const configuration = new Configuration({
    apiKey: [[APIKEY]]
    });

    спасибо. это сработало

  • I

    Работа с видео

    Поддержка
    0 Votes
    3 Posts
    556 Views
    I

    @gurkin4 said in Работа с видео:

    Переведи ползунок в самый конец видео.
    Некоторые сайты контролируют через Youtube эту фишку, по этому ползунок лучше переводить почти до конца, оставив практически последние секунды.
    Если на данном буксе нет recaptcha или hcaptcha, то советую работать в безбраузерных кликерах, например Click'Em Project. Браузер там есть, но скрипт может работать просто с исходными кодами страниц.

    Благодарю за то что откликнулся, но кроме BAS юзать что-то не очень хочется, реализовал путём промотки как и посоветовал, еще раз большое спасибо ;)

  • V

    Проблема с проектом HELP ME!!!!!

    Поддержка
    0 Votes
    2 Posts
    503 Views
    G

    @VaiperOK, обновление ту не причем.

    @support said in Часто Задаваемые Вопросы:

    Что делать в случае ошибки "SyntaxError"?
    http://community.bablosoft.com/post/16960

  • FastSpaceF

    Помогите с JSON

    Поддержка
    -1 Votes
    14 Posts
    2814 Views
    alliveA

    @fox Да я не про счас, а воопще читают ведь и пробуют применять. Это скорее возглас из из личного

  • ZenodrotZ

    Помогите с регуляркой

    Поддержка
    0 Votes
    44 Posts
    14304 Views
    S

    поддержу про xpath, работает очень быстро и просто.

    вот только смотря кому и зачем их парсить :) если сайтмап построить, то как обойти лимит гугла в 600 урлов? больше он не выдаст. Никто не подскажет, как запарсить все страницы сайта? Остается вариант не из выдачи, а реально ходить по сайту :(