@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Парсинг с выводом в бд
-
Парсю сайты одежды и вывожу данные : ссылка, наименование, картинка, цена в БД.
https://imgur.com/a/NsZCxDn
На одном сайте у меня BAS перестаёт получать значение src (картинку) после нескольких удачных:
img2.wbstatic.net/c252x336/new/11190000/11193854-1.jpg
static.wbstatic.net/i/blank.gif
На сайте класс у всех картинок одинаковый. Я запускал этот же скрипт на другом компьютере. Там он спарсил все картинки (не с первой попытки). От чего это может зависить?
На другом сайте такая же проблема случается с ценой. Парсит первые и последние 12 элементов. Для остальных поле оставляет пустым.
https://imgur.com/a/dAEHkfc -
@Ditry said in Парсинг с выводом в бд:
На сайте класс у всех картинок одинаковый. Я запускал этот же скрипт на другом компьютере. Там он спарсил все картинки (не с первой попытки). От чего это может зависить?
На другом сайте такая же проблема случается с ценой. Парсит первые и последние 12 элементов. Для остальных поле оставляет пустым.Судя по скриншоту вы используете автоматически сгенерированные селекторы. Они ненадёжны, потому что их BAS генерирует по порядку.
-
-
@Ditry said in Парсинг с выводом в бд:
@Fox, вы имеете ввиду селектор полученный через функцию "получить атрибут элемента"? Я брал имя класса с сайта и проверял, что количество элементов на странице точное. А как можно ещё это сделать?
Я имею ввиду селекторы браузерных действий
-
-
@Ditry said in Парсинг с выводом в бд:
Я через xpath делал. И при парсинге другого сайта, использую этот же скрипт я получил все картинки.
Прикладывайте тестовый скрипт, посмотрим
-
В файле wilb_shorts проблема с картинкой. В adidas_shorts с ценой
https://dropmefiles.com.ua/x4Uy7Emfe -
@Ditry said in Парсинг с выводом в бд:
В файле wilb_shorts проблема с картинкой. В adidas_shorts с ценой
https://dropmefiles.com.ua/x4Uy7Emfeскрипт wilb_shorts завершается ошибкой
по этому повторить ошибку не могу. Попробуйте использовать действие "Ждать Появления Элемента" с селектором действия "Начать Цикл" непосредственно перед началом цикла.
В скрипте adidas_shorts прокрутите страницу до конца перед началом парсинга
-
@Fox, я перезалил скрипт wilb_shorts.
https://dropmefiles.com/3WATj
Подскажи пожалуйста сколько у тебя выводило полных записей (с ценой, картинкой и тд.) в обоих файлах. у меня 12 в обоих. Только в wilb первые 12 с картинкой. Остальные с : static.wbstatic.net/i/blank.gif
Действия "Ждать Появления Элемента" у меня нету есть только
в файле adidas раньше выводило 12 товаров с ценой, а сейчас после каждого запуска по разному. То у одних товаров цену выведет, то у других.В скрипте adidas_shorts прокрутите страницу до конца перед началом парсинга
А это что-то поменяет? у меня переход по страницам нормально работает.
-
-
@Ditry said in Парсинг с выводом в бд:
Вообщем, прокрутка страницы вниз решила проблему в обоих случаях, спасибо всем, кто помогал.
Всем?
:D
