Парсинг с выводом в бд



  • Парсю сайты одежды и вывожу данные : ссылка, наименование, картинка, цена в БД.

    https://imgur.com/a/NsZCxDn
    На одном сайте у меня BAS перестаёт получать значение src (картинку) после нескольких удачных:
    img2.wbstatic.net/c252x336/new/11190000/11193854-1.jpg
    static.wbstatic.net/i/blank.gif
    На сайте класс у всех картинок одинаковый. Я запускал этот же скрипт на другом компьютере. Там он спарсил все картинки (не с первой попытки). От чего это может зависить?
    На другом сайте такая же проблема случается с ценой. Парсит первые и последние 12 элементов. Для остальных поле оставляет пустым.
    https://imgur.com/a/dAEHkfc



  • @Ditry через прокси работаете?



  • Нет



  • @Ditry said in Парсинг с выводом в бд:

    На сайте класс у всех картинок одинаковый. Я запускал этот же скрипт на другом компьютере. Там он спарсил все картинки (не с первой попытки). От чего это может зависить?
    На другом сайте такая же проблема случается с ценой. Парсит первые и последние 12 элементов. Для остальных поле оставляет пустым.

    Судя по скриншоту вы используете автоматически сгенерированные селекторы. Они ненадёжны, потому что их BAS генерирует по порядку.



  • @Fox, вы имеете ввиду селектор полученный через функцию "получить атрибут элемента"? Я брал имя класса с сайта и проверял, что количество элементов на странице точное. А как можно ещё это сделать?



  • @Ditry said in Парсинг с выводом в бд:

    @Fox, вы имеете ввиду селектор полученный через функцию "получить атрибут элемента"? Я брал имя класса с сайта и проверял, что количество элементов на странице точное. А как можно ещё это сделать?

    Я имею ввиду селекторы браузерных действий
    5af6beaa-8a1e-44a6-a932-653c4ea94179-изображение.png



  • Я через xpath делал. И при парсинге другого сайта, использую этот же скрипт я получил все картинки.
    37765b3d-c2a3-4144-a57b-f14aaf5d0f80-image.png



  • @Fox помоги пожалуйста разобраться с моей темой))



  • @Ditry said in Парсинг с выводом в бд:

    Я через xpath делал. И при парсинге другого сайта, использую этот же скрипт я получил все картинки.

    Прикладывайте тестовый скрипт, посмотрим



  • В файле wilb_shorts проблема с картинкой. В adidas_shorts с ценой
    https://dropmefiles.com.ua/x4Uy7Emfe



  • @Fox можешь посмотреть пожалуйста?



  • @Ditry said in Парсинг с выводом в бд:

    В файле wilb_shorts проблема с картинкой. В adidas_shorts с ценой
    https://dropmefiles.com.ua/x4Uy7Emfe

    скрипт wilb_shorts завершается ошибкой

    1f5c970f-e1a1-475d-b57d-0f89a710702c-изображение.png

    по этому повторить ошибку не могу. Попробуйте использовать действие "Ждать Появления Элемента" с селектором действия "Начать Цикл" непосредственно перед началом цикла.

    В скрипте adidas_shorts прокрутите страницу до конца перед началом парсинга



  • @Fox, я перезалил скрипт wilb_shorts.
    https://dropmefiles.com/3WATj
    Подскажи пожалуйста сколько у тебя выводило полных записей (с ценой, картинкой и тд.) в обоих файлах. у меня 12 в обоих. Только в wilb первые 12 с картинкой. Остальные с : static.wbstatic.net/i/blank.gif
    Действия "Ждать Появления Элемента" у меня нету есть только
    1cb75d6f-3613-4fbd-a87f-34b1ad94fbac-image.png
    в файле adidas раньше выводило 12 товаров с ценой, а сейчас после каждого запуска по разному. То у одних товаров цену выведет, то у других.

    В скрипте adidas_shorts прокрутите страницу до конца перед началом парсинга

    А это что-то поменяет? у меня переход по страницам нормально работает.



  • Вообщем, прокрутка страницы вниз решила проблему в обоих случаях, спасибо всем, кто помогал.



  • @Ditry said in Парсинг с выводом в бд:

    Вообщем, прокрутка страницы вниз решила проблему в обоих случаях, спасибо всем, кто помогал.

    Всем? :D


Log in to reply
 

  • 3
  • 18
  • 11
  • 9
  • 4
  • 17
  • 9
  • 7