Как предотвращать дубли при парсинге?

Поддержка
  • Народ, что используете для предотвращения дубликатов при парсинге? попробовал использовать локальную базу, но по мере заполнения базы слишком сильно лагать скрипт начинает, если использовать файл для хранения в нём всех строк то поидее тоже лагать будет

  • 0 Votes
    4 Posts
    637 Views
  • 2 Votes
    5 Posts
    898 Views
  • 0 Votes
    6 Posts
    1183 Views
  • 0 Votes
    4 Posts
    710 Views
  • 0 Votes
    10 Posts
    3499 Views