Как отключить сложные картинки ?

[Toolsman]

Тока там такой теперь прикол. Если карту вырубить, то листать вниз низя. Не подгружает контент и спарсить не выйдет.

Включил карту обратно, тока аватары вырубил и начал парсить теперь.

А ещё такой вопрос. Парсю эти элементы через НАЧАТЬ ЦИКЛ, ну он их нашёл 3000шт и потом каждый цикл проходит по всему списку чтобы 1 элемент собрать, представляешь ?

В общем долго парсит, не знаешь как можно обойти задержку ?
Есть ли способ на запросах собрать эту малину ?

А ещё потом внутрь буду запрыгивать и от туда дёргать сливки.

[xclsv]

@freeliman said in Как отключить сложные картинки ?:

Есть ли способ на запросах собрать эту малину ?

А ещё потом внутрь буду запрыгивать и от туда дёргать сливки.

Что именно нужно собрать?

[Toolsman]

@xclsv ! Ссылку под названием

[xclsv]

@freeliman
Получить код элемента.
Xpath

[uraabk]

@freeliman 0_1538219250122_demo.xml
Вот на запросах как вариант. Дальше место лога сами вытаскивайте всю нужную информацию об объявлениях.

[Toolsman]

@xclsv если делать через xpath быстрей будет или так же ?

@uraabk Расскажите про особенности вашего варианта парсера ?

Дело в том, что я парсил около 10 часов базу в 2500шт таких вот деталей.
Потом поставил функцию заходить в каждую ссылку и от туда уже грабить инфу.

Но блин функция НАЧАТЬ ЦИКЛ работает так медленно. Ей приходится каждый раз весь список пролистывать, чтобы собрать 1шт элемент.

И так он проходил 2500 раз весь список и собирал по 1 элементу =(
Очень долго так парсить, и если будут больше базы, то это удар по времени очень большой.

[root]

@freeliman https://tech.yandex.ru/maps/geosearch/

[Toolsman]

@root Скажи ты предлагаешь через api парсить ? так он 500шт даёт.
А если через справочник, так я попасть в него не могу. Там тока добавить можно организацию.

[Toolsman]

Ой ой ой смотрите как вкусно нашёл =) малина

[root]

Лимит можно обойти, для этого этот софт и создавался, расширять границы дозволеного.....

[uraabk]

@freeliman а чего там рассказывать? Все вроде и так видно. Остается только вытаскивать нужную информацию javascript или регуляркой... там и телефоны и адреса и названия - все достается сразу.

[Toolsman]

Ну достать ссылки на адреса сайтов я хочу, а потом через датакол спарсить емаил из доменов разных организаций.

Скажите, как сделать так, чтобы можно было зайти на сайт, про сканировать его и вытащить от туда адрес емаил ?

Вроде датакол справляется с этим делом, но он такой тяжёлый и так долго всё это делает.