Bablosoft

Как предотвращать дубли при парсинге?

Поддержка
  • 2

    Народ, что используете для предотвращения дубликатов при парсинге? попробовал использовать локальную базу, но по мере заполнения базы слишком сильно лагать скрипт начинает, если использовать файл для хранения в нём всех строк то поидее тоже лагать будет

    0

  • F

    Как удалить дубли?

    Поддержка
    0 Votes
    8 Posts
    843 Views
    FoxF

    @Foppy said in Как удалить дубли?:

    @Fox, я запутался.
    Смотри, получаю массив из элементов, допустим. Потом как мне сравнивать? получать из элемента текст и получать из элемента хреф и создавать с ними массивы? Так у них будет индекс с 0 и до n-числа. Как вычислить тогда к какому тексту принадлежит href.
    Ладно, примерно есть идеи надо потестить, сложновато это делать.

    Сравнивать имена с данными не нужно, вам же нужно только узнать, есть ли данные с такими именами или нет. Для этого из исходных данных нужно добавлять в итоговый массив только те данные, каких имён нет в массиве имён.

    Делать это нужно либо при получении данных, что бы не добавлять дубли изначально. Либо потом во время обработки из итогового массива данных получать данные, имена которых не повторяются.

    Вот такая конструкция:
    25f4d7ff-1566-49d6-8b1a-db35b30e1a28-изображение.png

    Вот такие исходные данные:
    ad67b075-47bd-4b1e-87a5-1de88c6f5451-изображение.png

    Вот такой результат:
    7f20db00-2645-4ddb-b48e-261f213d2844-изображение.png

  • I

    Как решить такую капчу?

    Поддержка
    0 Votes
    18 Posts
    1764 Views
    I

    @gurkin4 а где взять этот phash?

  • V

    Как правильно подключать прокси?

    Поддержка
    0 Votes
    10 Posts
    1333 Views
    R

    @vsyacheskiy said in Как правильно подключать прокси?:

    Много комбинаций перепровобал, беру в интернете прокси, проверяю их hide.me, пишут что живые, начинаю лить в бас, через файл пробовал, через ввод вручную, через создать ресурс пробовал, никак не получается, в чём может быть проблема?
    Буду благодарен если ещё посоветуете литературу про ЛОГИКУ СКРИПТА
    Re: Как правильно подключать прокси?

    Ну смотри, первым делом покупаешь прокси. Выбирай прокси под свои задачи : если количество акков ограничено, то можешь купить личные(приватные) IPv4 (с IPv6 не все сайты работают пока еще..). Например, для регистрации акков, 1 прокси до 3-5 потоков можешь грузить (если используешь смену юзер-агентов). Дальше, скорее всего, большинство сайтов отрежут тебе регистрацию с данного ip. Поэтому, для регистрации или большого пула акков - покупай прокси с ротацией(мобильные) . Там ip меняется каждый раз при подключении.

    Прокси из интернета это 99% словить бан аккаунтов или слить бабки на капчу или вообще скрипт не запустится т.к. некоторые ip уже в черных списках, а некоторые еще работают, но их юзают и в хвост и в гриву, поэтому там скорость подключения никакущая....

    Какая может быть литература по логике скрипта это базовые принципы в работе алгоритмов. Почитай учебник по информатики за 7 класс. Там описаны алгоритмы, как они работают, как построить элементарное дерево и тд.. Если лень искать учебник, то вот КЛИКАЙ И УЧИ

  • S

    Как не перезапускать поток при выходе по Success?

    Поддержка
    0 Votes
    8 Posts
    1754 Views
    FoxF

    @senerg said in Как не перезапускать поток при выходе по Success?:

    @fox , там данные по словам разработчика устарели еще в 2016. Поновее ничего нет?

    На данный момент описания api BAS'a нет. Я сам лично смотрю методы действий BAS в коде скрипта.

  • A

    Как решить эту проблему???

    Поддержка
    0 Votes
    9 Posts
    1914 Views
    A

    @out Благодарю.