Bablosoft

Как предотвращать дубли при парсинге?

Поддержка
  • 2

    Народ, что используете для предотвращения дубликатов при парсинге? попробовал использовать локальную базу, но по мере заполнения базы слишком сильно лагать скрипт начинает, если использовать файл для хранения в нём всех строк то поидее тоже лагать будет

    0

  • diloloD

    Как взаимодействовать с ботом

    Поддержка
    0 Votes
    2 Posts
    662 Views
    AjshmaA

    @dilolo said in Как взаимодействовать с ботом:

    Единственно что пришло на ум

    Ща накидаю вариантов:

    Через базу данных Монго Любую другую базу данных (удаленно) Файл (ты это уже сам догадался) Вебсервер Сокетсервер Отдельное приложение
  • T

    Как сделать регулярку?

    Moved Поддержка
    0 Votes
    5 Posts
    1199 Views
    FoxF

    @sir-ydroidrrr said in Как сделать регулярку?:

    @Toshka я как то криво сначала прочел, регуляркой имя файла можно получить:

    [\s\S]+/([\s\S]+\.mp3)

    В вашей регулярке ошибка

    6d5a1e5d-6aa2-4baa-9b27-6254b1691eea-изображение.png

    И жадный алгоритм здесь лишний, регулярку надёжнее использовать такую:

    \/([^\/]*?\.mp3)"
  • WasTabonW

    Как можно сохранить куки?

    Поддержка
    0 Votes
    8 Posts
    1650 Views
    FoxF

    @WasTabon said in Как можно сохранить куки?:

    Типо функция "сохранить куки" выдает какой-то странный формат

    {"cookies":[{"creation":{"day_of_month":"6","day_of_week":"5","hour":"14","millisecond":"432","minute":"26","month":"11","second":"21","year":"2020"},"domain":".youtube.com","expires":

    А надо такой

    Netscape HTTP Cookie File # http://curl.haxx.se/rfc/cookie_spec.html # This file was generated by EditThisCookie # URL: https://www.youtube.com/channel/UC6zSRsV-a7vvS_GVc8lJMpQ/?guided_help_flow=5 .youtube.com FALSE / TRUE 1667233357.111271 __Secure-3PAPISID YKU8hHiYEQNxGsvV/A-zRdD15oRoeOc6uz .youtube.com FALSE / TRUE 1667233357.110971 __Secure-3PSID 2wcay19F5vToxKLWtuetVjIe-mKYnLPRGf7nt94h7IyAxfQAoYSyr0EFTVvbZsO4SIfAMw. .youtube.com FALSE / TRUE 1635697404.285134 __Secure-3PSIDCC AJi4QfHsK_tuORCx6L8sPVNCM4eHft1k9BXi8C02EQIpNdgXgpY3c91UcascvHizZ1e9sOth2A .youtube.com FALSE / FALSE 1667233357.111118 APISID

    Что делать?

    Если у вас возникает вопрос "что делать" значит ответ для вас будет "ни чего". Куки BAS работают только в BAS! Ни каких импортов или экспортов кук в BAS нет.
    Можете посмотреть в теме лайфхаков выкладывали скрипт для конвертации кук, но в какой формат, я не помню.

  • S

    Как запустить функцию?

    Поддержка
    0 Votes
    10 Posts
    2296 Views
    alliveA

    @fox Опять на темную сторону агитируешь? ;-)
    alt text

  • brotokB

    Как сделать, чтобы пароль вводился только при первом посещении сайта?

    Поддержка
    0 Votes
    3 Posts
    1834 Views
    supportS

    @brotok said in Как сделать, чтобы пароль вводился только при первом посещении сайта?:

    Еще одна проблема - у меня есть список (большой) из ссылок, где нужно публиковать записи.... Допустим их около 100 штук. Как мне это реализовать в программе BrowserAutomationStudio? Насколько я понял, можно публиковать разный текст (как в примере с твиттером), но как это сделать с посещаемыми адресами url? Что можете посоветовать?

    Использовать ресурс для хранения ссылок. Брать строку из ресурса.
    http://prnt.sc/csywbr

    Еще проблема - как добавлять не однострочный текст, а огромный пласт текста (который будет содержать в том числе и html-коды)? Как это реализовать в программе BrowserAutomationStudio?

    Действие "Шаблон" может создавать многострочный текст в том числе и подставлять туда переменные.