Как предотвращать дубли при парсинге?

Поддержка
  • Народ, что используете для предотвращения дубликатов при парсинге? попробовал использовать локальную базу, но по мере заполнения базы слишком сильно лагать скрипт начинает, если использовать файл для хранения в нём всех строк то поидее тоже лагать будет

  • 0 Votes
    1 Posts
    389 Views
  • 0 Votes
    8 Posts
    2918 Views
  • 0 Votes
    28 Posts
    8741 Views
  • 0 Votes
    8 Posts
    3056 Views
  • 1 Votes
    14 Posts
    3745 Views