Bablosoft

сайт на вебсокетах

Поддержка
  • S

    Здравствуйте,

    Парсил кто-нибудь динамические сайты через BAS, бэкенд которого работает через вебсокеты?

    Раннее не сталкивался с парсингом сайтов в реал-тайме
    Первое, что пришло на ум - это создать бесконечный цикл, в котором БАС будет загружать DOM страницы и парсить через xml нужные мне данные. Однако, этот метод скорее всего будет слишком сильно загружать систему

    Может кто-нибудь подсказать в каком направлении двигаться?

    Заранее спасибо

    FoxF 1 Reply
    0
  • FoxF

    @slay said in сайт на вебсокетах:

    Здравствуйте,

    Парсил кто-нибудь динамические сайты через BAS, бэкенд которого работает через вебсокеты?

    Раннее не сталкивался с парсингом сайтов в реал-тайме
    Первое, что пришло на ум - это создать бесконечный цикл, в котором БАС будет загружать DOM страницы и парсить через xml нужные мне данные. Однако, этот метод скорее всего будет слишком сильно загружать систему

    Может кто-нибудь подсказать в каком направлении двигаться?

    Заранее спасибо

    Подрубайся к вебсокету через модуль ноды и сохраняй данные как необходимо

    1

  • M

    Помогите получить ссылку на демо

    Поддержка
    0 Votes
    8 Posts
    786 Views
    Q

    @Moeller
    f12. тык на кнопку.
    251d14d1-1e66-4b3d-be57-0e953dd1ccb3-image.png
    поиск нового запроса.
    4bca9c78-6d21-4c06-8d07-e1522f57ee22-image.png
    418140da-b146-4ab6-b088-2251c07115b6-image.png
    прочек валида линки
    7c1f378c-ad32-4469-ab54-fa5dc1b9b3a4-image.png
    серч по ключу с прошлого шага. по итогу видим запрос где в результатах все ссылки.
    b6da7f19-012d-4a98-806f-5990c308108e-image.png
    ad241cb1-c092-4db7-8487-f3d8e68c3944-image.png
    ee1d8a69-a3be-410c-ba63-ca27c6ca0987-image.png

    Собираем в бас
    b186eb4e-aed3-4f69-849a-cd672b752ae1-image.png
    куки клауда и заголовки стянул с браузера
    f612d538-f0ef-4ac0-b632-07674d6c5ec4-image.png
    a1f74a56-07bb-47d9-b3e8-67d31bf95686-image.png
    основная логика - получаем массив, перебираем и дергаем имя, редачим его под тип файла в линке
    94689175-70c3-4cbd-9fb5-aff0678da8ca-image.png
    редач имени файла
    eaf66763-e920-45aa-af6d-e5800208369f-image.png
    получение урла
    86a81d23-9f4a-4f58-86ba-361c31114c8c-image.png
    лог
    ad07825b-02a2-4d21-9ac6-f4413ad93460-image.png
    файлы валид по итогу
    964234c6-4cd7-4d45-9d9f-4af61f16f015-image.png

  • D

    Как можно отправлять уведомления на сайт?

    Поддержка
    0 Votes
    4 Posts
    684 Views
    S

    @dmitrii-a said in Как можно отправлять уведомления на сайт?:

    что бы страницу каждый раз не обновлять

    а где вы её обновляете и что это за страница? я изначально подумал, что вы логи отправляете через форму на сайте.

  • M

    Кодировка на сайте

    Поддержка
    0 Votes
    8 Posts
    1170 Views
    K

    Столкнулся с этой же самой проблемой.
    Беру файл UTF-8 без BOM или с BOM со строкой "ʙᴀʙʟᴏꜱᴏꜰᴛ" (шрифт изменен),
    делаю encode и получаю %CA%99%E1%B4%80%CA%99%CA%9F%E1%B4%8F%EA%9C%B1%E1%B4%8F%EA%9C%B0%E1%B4%9B
    отправляю ее через post запрос на сайт - приходит иероглиф ʙᴀʙʟᴠꜱᴠꜰᴛ.

    Делаю через обычный браузер, в фиддлере тот же самый запрос отснифан. Приходит все корректно - ʙᴀʙʟᴏꜱᴏꜰᴛ

    UPDATE: РЕШЕНО.
    Не знаю как это работает, но добавление ; charset=UTF-8 в Content-Type решает проблему. То есть Content-Type должен быть "application/x-www-form-urlencoded; charset=UTF-8"

  • P

    Лайки и репосты на Facebook

    Moved Поддержка
    0 Votes
    9 Posts
    1136 Views
    Alex84A

    @usertrue Да это точно и в этом может Именно свой Универсальный ( на денамичиских адресах норм вроде у меня по крайней мере работает ).
    Через Подставку к Селектору >AT>
    Пример вот к денамической Рекле у меня привязан ( >MATCH><img alt="" class=">AT> )
    А в Случаи Лайков тут если Диз есть Рядом и поставить ещё1 то скорей всего он на Дизлайк будет уже указывать, вот цифрами также можно и находить ( в видео однако даже есть про это ). :)

  • 4

    Заменить определенные символы на любые

    Поддержка
    0 Votes
    4 Posts
    881 Views
    qashQ

    я бы регулярочкой сделал