Bablosoft

Как менять куки при многопоточности?

Поддержка

  • F

    Как удалить дубли?

    Поддержка
    0 Votes
    8 Posts
    767 Views
    FoxF

    @Foppy said in Как удалить дубли?:

    @Fox, я запутался.
    Смотри, получаю массив из элементов, допустим. Потом как мне сравнивать? получать из элемента текст и получать из элемента хреф и создавать с ними массивы? Так у них будет индекс с 0 и до n-числа. Как вычислить тогда к какому тексту принадлежит href.
    Ладно, примерно есть идеи надо потестить, сложновато это делать.

    Сравнивать имена с данными не нужно, вам же нужно только узнать, есть ли данные с такими именами или нет. Для этого из исходных данных нужно добавлять в итоговый массив только те данные, каких имён нет в массиве имён.

    Делать это нужно либо при получении данных, что бы не добавлять дубли изначально. Либо потом во время обработки из итогового массива данных получать данные, имена которых не повторяются.

    Вот такая конструкция:
    25f4d7ff-1566-49d6-8b1a-db35b30e1a28-изображение.png

    Вот такие исходные данные:
    ad67b075-47bd-4b1e-87a5-1de88c6f5451-изображение.png

    Вот такой результат:
    7f20db00-2645-4ddb-b48e-261f213d2844-изображение.png

  • K

    Как обойти проверку браузера при каждом открытии нового урл

    Поддержка
    0 Votes
    26 Posts
    2745 Views
    sergerdnS

    @UserTrue said in Как обойти проверку браузера при каждом открытии нового урл:

    Это ни разу не решение, браузер будет использоваться в каждом потоке. Когда нужно большое число потоков, либо частая смена прокси это решение не подойдет. К тому же нужно загрузить какую-нибудь страницу сайта, чтобы не было проблем с CORS

    Да почему же, в каких-то случаях вполне себе решение. Зависит от задачи.

    открыл сайт в браузере кодом быстро получил стопиццот страниц сайта. сохранил их(видел недавно ровно такую задачу на форуме)

    @UserTrue said in Как обойти проверку браузера при каждом открытии нового урл:

    Там в куках сигнатура, которая как мне кажется создана на основе данных проверки браузера и ssl отпечатка.

    Вероятно, а моя гипотеза выше насчет анализа TCP/IP была неверной. Несмотря на то, что если бы они так сделали - это был бы максимально надежный путь, но они не сделали.

    Не будет повторной проверки на бота, если:

    открыть страницу сайта, скопировать все кукисы закрыть браузер открыть тот же браузер, вставить скопированные кукисы ранее открыть нужный сайт

    Выходной ip, user agent, etc не пробовал менять на предпоследнем этапе ради теста.

  • K

    Как обойти blockadblock

    Поддержка
    2 Votes
    5 Posts
    748 Views
    diloloD

    Этот скрипт вызывается не через iFrame и поэтому блокировка посторонних ресурсов не поможет
    Это JS который выполняется при загрузки страницы. Нужно или отловить этот скрипт на странице или вообще запретить js

  • N

    Как установить ограничение по времени при действии Проверить существование элемента

    Поддержка
    0 Votes
    8 Posts
    810 Views
    FoxF

    @NickBAS said in Как установить ограничение по времени при действии Проверить существование элемента:

    @Fox тогда как это называется правильно? Это изображение в формате base64. Как это можно использовать снова?

    Да, это изображение в base64, копируете и вставляете в действие, в которое необходимо

  • Y

    Как получить xpatch ?

    Moved Поддержка
    0 Votes
    4 Posts
    928 Views
    FoxF

    @yadspam said in Как получить xpatch ?:

    @bigorat Да проблема в том что на нужном ресурсе заголовков /script очень много, регулярка не справляется с содержимым страницы, bas попросту ее не выполняет, а нет других вариантов?

    Xpath может вернуть содержимое тега, полностью весь код, текст или конкретный атрибут. Данный тег script можно найти через xpath, но как именно, станет понятно только при взгляде на код всей страницы.

    @yadspam said in Как получить xpatch ?:

    регулярка не справляется с содержимым страницы, bas попросту ее не выполняет

    Скорее всего вы её неверно составили, или html код в BAS отличается от кода к которому вы создавали регулярку (например разные по стилю).

    Самый простой вариант всё таки использовать регулярку. Если страница действительно очень большая, используйте действие "Xpath получить каждый xml", чтобы получить все теги script, а затем уже в цикле через foreach проверяйте подходит ли элемент под регулярное выражение.