Здравствуйте
поставил ксеон новый процессор вместо ай 5
8 потоков стало вроде бы
все стало шустрее но памяти 16 гб стало не хватать
расширил до 32
по скрипту из режима записи в режим запуска поменял с помощью другого спеца порядок функций
раньше в онстартапликейшен загружал куки и файл
теперь онстартапликейшен убрал и все что в ней было объявлено закинул в начало мейна
все стало пахать
но странно ведь утверждалось что те элементы которые не будут меняться лучше как раз в онстарталикейшен можно загружать и не париться
был однопоток но все равно глючило почему то в режиме запуска
убрал в мейн из онстарьапликейшен все запуск в однопотоке норм трудится
правда была еще проблема что ставил повторять скрипт
а он через 3-4 повторения заканчивался пришлось бегать ставить метки
в общем с басом основная проблема это обучение и примеры собранные и централизованно с грамотным содержанием оформлены
интерфейс тоже звиздец какой то
я долго не мог понять где пункт выпадающего контекстного меню на элементе а оказалось в итоге что контекстное меню надо было проматывать еще дальше вниз колесиком мыши чтобы там из 15 опций низ показался
звиздец же
но в целом хоть и безплатно но хочется обучения и красивости и доубства оформления
копии бас тоже сейчас запускаются пока 3 штуки норм пашут именно паралелльно:)независимо друг от друга
кстати если кому интересно была проблема с установкой 4 планов по 8 гигабайт на материнскую плату b85+ и не шло никак
2 норм а две другие не хотели мириться
решилось через очень долгое и случайное мозговое штурмирование методом тыка
надо было в биосе включить и отключить слоты памяти ибо даже после обнуления биоса путем вытаскивания батарейки где то информация закрепилась и слоты глючили
но после отключения включения все 4 слота стали пахать и память у меня теперь 32 гигабайта:) а я уж смирился с 16
так что есть польза от совместного решени язадач и резонанса
аурауспешайкая
Проблема с парсером где ожидается подгрузка страницы
-
Здравствуйте, решил сделать парсер твиттера как было в одном из видео по бас и хотел заьнстить, можно ли получить 1кк ссылок на посты и у меня возникла такая проблема, что бас не может получить более 1300-1500 ссылок.
-
@alexqwerty создайте общий список (или текстовый документ). Получили 1к ссылок - сохранили в список или текстовик и продолжили дальше получать ссылки.
-
@uraabk у меня получается ссылка, потом сравнивается она с той которая должна быть, потом если соответствует условию, то сохраняется, далее получается колличество всего ссылок, с учётом новых которые подгрузились и это обновляет колличество построений цикла. Тоесть с каждой итерацией ссылка записывается в файл и с каждой последующей файл дополняется. Не подскажете, как в данном случае быть, ТК все упирается в потолок 1300-1500 ссылок?
-
@alexqwerty а что после 1300-1500 происходит? Перестают подгружаться ссылки? - скорее всего сайт блокирует работу, думая, что вы робот.
-
@uraabk парсер пишет что не получается получить колличество элементов и соответственно и нужный элемент. Думаю что сервису нет надобности бороться с парсером тк он просто листает ленту. Примечательно что если сделать просто цикл прокрутки ленты то он листает все 100к раз, а если попросить его начать пврсить с 1 элемента то на 1600 каком то он замирает
-
@alexqwerty так может сначала пролистать 100к раз, а потом xpath получить сразу все ссылки?
-
@uraabk пробовал, 20 часов подгружал, но в итоге парсер там же завис. Можешь скинуть какую нибудь ссылку на то что ты имеешь ввиду
-
@alexqwerty 20 часов? Да вы ненормальный человек)) А post/get запросами не пробовали? Может быть просто не хватает памяти и из-за этого зависает?
-
@uraabk парсер листает ленту вк как человек и потом получает ссылку на пост, на все уходит 1 секунда на 100к ушел день. Насчёт нехватки памяти я подумал и сегодня планирую это проверить, очень вероятно что проблема в этом. Что вы подрузаметаете под гет запросами?
-
@alexqwerty место листания ленты в браузере и тратя кучу времени на это (не говоря уже о ресурсах) посылать/получать запросы. Это в разы сократит время и не будет использовать кучу ресурсов, но скорее всего от частых запросов вк начнет выводить капчу...
-
@uraabk не могли бы вы дать направление где найти информацию об этом?
-
@alexqwerty вот тут видео есть https://youtu.be/fC97DG2MHQM?t=4542 в описании таймкоды.
