Парсер Google

Поддержка
  • @pro100sata то и другое.

  • @seedgg Я правильно понял?

    "/customer/account/create/" general 10
    "/customer/account/create/" ground 54
    "/customer/account/create/" independent 13

  • @pro100sata там где база слов там может быть все что угодно. Это нужно для того что бы обойти всякие ограничения на парсинг. Чтобы выдавало разные результаты. Можно парсить с минусом(-word "константа")...тогда напарсится быстрее. Гугл убирает только результаты с -word но отдаёт больше всех остальных.
    Пример с цифрами
    1 "константа"
    2 "константа"
    Тд.
    Вместо 1 и 2 могут быть любые слова, словосочетание, буквы, цифры - это для варьирования выдачи и выдачи разных результатов.

  • @seedgg Не могу догнать...
    Можете 5 примеров написать как оно выглядит?

  • @pro100sata есть 2-е базы. 1-я база(список) слов, словарей, цифр, да что угодно, лишь бы гугл отдавал результат. 2-й список - это ваш признаки, которые насобирали. Методом перебора подставляется для каждого элемента 1-го списка, каждый элемент 2-го списка.
    Если взять цифры первым списком, запросы:
    1 "index.php/customer-service"
    1 "/index.php/admin/index/"
    1 "/?___from_store=id"
    1 "/?___store="
    ...

    2 "index.php/customer-service"
    2 "/index.php/admin/index/"
    2 "/?___from_store=id"
    2 "/?___store="

    гугл ищет совпадения на странице, что было 2(в тексте, в тайтле, в юрл, где угодно) + дополнительный пареметр (index.php/customer-service). Выдаст что-то похожее к тому что нужно + куча шлака, который прийдется убирать.
    Для того чтобы собрать как можно больше, используются всякие разные базы. А ваша база с признаками остается одна и таже.
    Используйте вместо первой базы, базу слов, дат или кучу другого, для того что именно, нужно проанализировать движок и узнать, что у них всех есть общего, например дата, но у всех она разная. Можно список дат самому в екселе сделать определенного формата и использовать базу с ними.