Интересная задачка



  • Всем добрый вечер, существует проблема. Сломал уже всю голову и всем вынес моск.
    Делаю парсинг свежереганных юзеров , которым выдается id в порядке возростания 1-2-3-4. Отправляя запрос site.com/user/id1 я проверяю успел ли он зарегестрироваться , в зависимости от ответа сервера я понимаю зарегестрировался юзер или еще не успел.Все вроде бы понятно, НО возникают ситуации когда сервер может не выдать id3 , но уже выдал id4 . И этот id3 не появится никогда (ответ от сервера при этом не отличается "id3 not registered") . Скорость парсинга очень важна, т.е. нельзя чтобы поток топтался на одном юзере проверяя его по 10 раз с таймингом,нужно чтоб он шел дальше парсить след id .
    P,S, в идеале как я вижу логику , если где-то возникает "дырка" то проверять ее бесконечно + проверять следующие 1-2 id , если они уже существуют , то гасить "дырку" и брать новый id



  • зачем их парсить, вам нужно всеволишь узнать сколько юзеров сейчас зарегано, если до последнего зареганного юзера есть пропуски, то пускай тот софт для которого вы это парсите если йд не существует берёт следующий йд.



  • @gr-al-ni перечитайте еще раз задачу. нужно брать именно свежереганных юзеров , т.е. узнать зарегался уже или нет определенный id. Если так пропускать то можно обогнать регистрацию новых юзеров и просто ничего не получить в итоге.



  • @Buhgalter прости за такой нескромный вопрос, как может быть зареган id4, но чтобы был пустой id3 ?
    Ты парсишь свежереганных, но смотришь старых, самых первых юзеров id1, id2 и тд
    Если следующий id присутствует, то предыдущий тоже есть, что логично

    Поставить таймаут на ответ



  • подписывай датой сбора и уникализируй
    тебе же надо собрать а не устанавливать какой то айдишник.
    дата сбора - есть, агент есть.. че лишние сущьности изобретать


Log in to reply