Требуется парсинг Facebook



  • Приветствую, требуется парсер фб. Цель: спарсить весь фб

    Реализация:

    Фэйсбук имеет жесткие лимиты на почти весь парсинг, кроме парсинга по типу имя + город.

    Этим и воспользуемся.

    Указываем список городом и список имен. Парсим все, что нам выдают.

    Алгоритм будет примерно такой:

    Имеется города Нью-йорк, Филадельфия
    имена: Минди, Джон, Алиса

    Парсер обрабатывает так:

    Минди + Нью-йорк, Джон + Нью-йорк, Алиса + Нью-йорк
    Минди + Филадельфия, Джон + филадельфия, Алиса + филадельфия

    Понадобится где-то 1 к потоков. Вероятно, использовать амазон (как я понимаю, они для этих целей имеют сервера)
    Прокси ipv6.

    Вероятно, через браузер или имитацию его. Хотя можно и через хттп запросы попробовать.

    Аккаунты, в любом случае, будут лететь в бан, так что нужен регистратор, который будет подтягивать аккаунты на время парсинга.

    Далее все это собирается в базу. В которой мы можем:

    1. Использовать минус-слова по нужным нам категориям. (например, имя и слово "Лера". Все люди с именем Лера, удалятся)

    2. Плюс слова по нужным нам категориям. Например, имя и слово "Лера". Все люди с именем Лера, останутся.

    Этап фильтрации многоступенчатый. Т.е. операции плюс и минус слов могут использоваться несколько раз. Как в обычной бд.

    А также понадобится рейтинг по самым популярным совпадениям. Приведу пример. У нас есть категория Имя. Софт считает, сколько имен совпадает и выстраивает рейтинг от самого большого количества к самому меньшему.

    Если у нас в Списке:

    Сергей Филатов
    Сергей Есенин
    Александр Пушкин

    Софт выстроит все так:

    Сергей - 2
    Александр 1

    Категории:

    1. !Вся! графа Favorites (рейтинг)
    2. Образование
    3. Город
    4. имя и фамилия
    5. Любимые цитаты (рейтинг_)
    6. Работа (рейтинг)
    7. пол

    Для связи - телеграмм @Jricher