Bablosoft

Спарсить сайт с авторизацией

Поддержка
  • F

    Здравствуйте. Необходимо спарсить сайт, на котором требуется авторизация. Каким образом это сделать.
    Есть задумка следующая:
    заходим через браузер на сайт, авторизуемся, подгружаем в http клиент данные куки из браузера и парсим страницы. Но что-то не работае...

    0

  • N

    Проблема с xpath

    Поддержка
    0 Votes
    3 Posts
    655 Views
    I

    @n1kkiof там фрейм скорее всего, поэтому не видит с твоим xpath

  • I

    Проблема с переменными

    Moved Поддержка
    0 Votes
    12 Posts
    1467 Views
    I

    @UserTrue понял, спасибо)

  • LighthouseL

    Помогите с прокруткой

    Поддержка
    0 Votes
    13 Posts
    1372 Views
    LighthouseL

    @f0cus догадывалась ) поэтому выше обратила внимание на тему с координатами, поскольку с абзацами могут возникнуть проблемы

  • S

    сайт на вебсокетах

    Поддержка
    0 Votes
    2 Posts
    637 Views
    FoxF

    @slay said in сайт на вебсокетах:

    Здравствуйте,

    Парсил кто-нибудь динамические сайты через BAS, бэкенд которого работает через вебсокеты?

    Раннее не сталкивался с парсингом сайтов в реал-тайме
    Первое, что пришло на ум - это создать бесконечный цикл, в котором БАС будет загружать DOM страницы и парсить через xml нужные мне данные. Однако, этот метод скорее всего будет слишком сильно загружать систему

    Может кто-нибудь подсказать в каком направлении двигаться?

    Заранее спасибо

    Подрубайся к вебсокету через модуль ноды и сохраняй данные как необходимо

  • M

    Проблема с Прокси

    Поддержка
    0 Votes
    2 Posts
    876 Views
    FoxF

    @mavanja said in Проблема с Прокси:

    Всем привет, есть такая проблема что программа опознаёт большинство прокси как битые, но на самом деле если их чекнуть на сайте или через прогу, то они все работают. Использовал только прокси HTTP/S. B чём может быть проблема? И где можно выставить миллисекунды для прокси? Eсли кто поможет устранить проблему, в долгу не останемся!

    0_1557209924413_9e4acf69-ccb9-4b96-ae2b-bffb3b656f79-изображение.png

    0_1557210066137_b64009ac-8981-4cf9-9ef6-59ee87567994-изображение.png