Bablosoft

Как предотвращать дубли при парсинге?

Поддержка
  • 2

    Народ, что используете для предотвращения дубликатов при парсинге? попробовал использовать локальную базу, но по мере заполнения базы слишком сильно лагать скрипт начинает, если использовать файл для хранения в нём всех строк то поидее тоже лагать будет

    0

  • O

    Как распарсить БД?

    Поддержка
    0 Votes
    11 Posts
    1798 Views
    FoxF

    @Oleg_Pvk said in Как распарсить БД?:

    В общем я не понимаю что происходит с датой в базе данных BAS. Подскажите кто знает что там происходит.
    Суть: база данных всё таже что и на скринах выше. В ней есть столбик last_visit_date тип данных установлен date.
    Чтобы записать туда дату следую по такому пути:

    Кубиком "дата сейчас" узнаю текущую дату и кладу её в переменную DATE_NOW Кубиком "дату в миллисекунды" преобразую DATE_NOW в число равное прошедших миллисекунд от таймстамп Кубиком "изменить одну запись в базе" записываю в ячейку last_visit_date число миллисекунд из DATE_NOW Иду в меню БАЗА>Менеджер данных нахожу нужную строку и ячейку, вижу там дату в формате "21.06.2022 13:33:00" Копирую. Перехожу на следующую строку вставляю данный из прошлой и меняю год с 2022 на 2023 Возвращаюсь к созданию скрипта. С помощью кубика "получить запись по критерию" и установленного в нём фильтра по колонке "last_date_visit" с параметром "раньше чем" и число в миллисекундах берём из переменной DATE_NOW я не получаю ничего. Хотя в базе есть дата на год раньше чем в переменной DATE_NOW.
    НО! Если фильтр настроить "позже чем" и указать туже переменную "DATE_NOW" то он найдёт одну запись, как ему и положено.

    Вопрос: Что я делаю не так? Почему не ищет записи в "будущем"? Нельзя через менеджер данных вносить правки в дату?

    Скорее всего через менеджер данных вы вносите данные в неправильном формате. Попробуйте заполнять дату исключительно через действия, а необходимые даты формировать через модуль "Дата и время"

  • S

    Как правильно спарсить?

    Поддержка
    0 Votes
    9 Posts
    1271 Views
    S

    спасибо) разобрался)

  • K

    Как сохранить куки телеги?

    Поддержка
    0 Votes
    4 Posts
    765 Views
    K

    @FastSpace А как тогда? Ибо я уже все попробовал что знал

  • C

    Как это реализовать?

    Поддержка
    0 Votes
    2 Posts
    619 Views
    tet-viviT

    @Barahol said in Как это реализовать?:

    Нужно, чтобы действие выполнялось только в том случае, если спарсенное число будет больше на 50. Например: На какой-то записи 100 просмотров, нужно, чтобы действие начинало выполнение только тогда, когда на записи будет 150 просмотров.

    if [[NUM]] == 150

    если честно вместо задачи отрывки мыслей, я мысли читать не умею

  • sergodjan66S

    Как посмотреть текущий юзерагент?

    Поддержка
    0 Votes
    7 Posts
    2496 Views
    sergodjan66S

    @out said in Как посмотреть текущий юзерагент?:

    @sergodjan66 есть "инспектор переменных", там их содержимое.
    чтобы его вызвать кликни по пустому месту в сценарии слева ПКМ и выбери.

    да, я смотрел в инспекторе, в первом сообщении об этом написал..
    там не все есть, что мне нужно.. :)