Bablosoft

Как предотвращать дубли при парсинге?

Поддержка
  • 2

    Народ, что используете для предотвращения дубликатов при парсинге? попробовал использовать локальную базу, но по мере заполнения базы слишком сильно лагать скрипт начинает, если использовать файл для хранения в нём всех строк то поидее тоже лагать будет

    0

  • M

    Как перехватить http запрос

    Поддержка
    0 Votes
    7 Posts
    832 Views
    M

    отлично!
    @sergerdn, @000 Спасибо!

  • I

    Как синхронизировать потоки?

    Поддержка
    0 Votes
    6 Posts
    940 Views
    lotraL

    @Yury считайте сможет ли ваш пк одновременно запустить 30 браузеров, если сможет значит хватает. НЕ окон БРАУЗЕРОВ. это и будет ваш потолок.

  • nesamitN

    Как скачать PDF файл?

    Поддержка
    0 Votes
    8 Posts
    2156 Views
    FoxF

    @uraabk

    Это закрытая CRM система.

    Без каких либо данных сайта я ни чего не могу сделать.

    Подскажите, может есть еще способ?

    Попробуй снифать запросы, должен быть запрос на формирования этого PDF файла, выйдет надёжнее и быстрее, чем через браузер.

  • N

    Как получить текст

    Moved Поддержка
    0 Votes
    15 Posts
    3549 Views
    alliveA

    @nikalasss 0_1537938310234_fingerprint.xml Сорь скрипт рабочий но может вызвать панику=) Ноду тянет. Перезалил без ничего
    0_1537940561502_fingerprint.xml

  • ToolsmanT

    Как объединить списки ?

    Поддержка
    2 Votes
    8 Posts
    2752 Views
    tZenT

    @freeliman
    Вариант 1
    Создать ресурсы со списками
    Создать цикл который будет брать новые данные из ресурса и записывать(Файловая система > Записать в файл) их в тот же файл с расширением .csv
    "{{list1|notreuse}}";"{{list2|notreuse}}";"{{list3|notreuse}}"

    img
    Полученный файл спокойно можно открыть через Excel либо Google Таблицы

    Вариант 2
    Через базу данных.
    Предварительно через редактор схемы БД, создаем структуру.
    База данных > Вставить запись
    Заполняем нужные поля входными данными.
    После отработки скрипта идем в БД и экспортируем свои данные.