@fluffik said in Вопрос оптимизации с обработкой данных:
есть ли возможность всё что спарсилось сразу убрать из исходной переменной?
Объявите переменную с этим же названием
Вопрос по оптимизации скрипта.
-
Итак, делал скрипт, тестировал все на 1 потоке, все работало на ура, затраты по времени на обработку 1-го потока составляли 1-1.5 минуты (в зависимости от скорости прокси). Скомпилировал софт, закинул на дедик и запустил на 12-и потоках. Итог таков: 1 поток обрабатывает сайт аж 4-5 минут, но когда на этом же дедике ставлю 1 поток, как и тестил на своей машине, то все спокойно и прекрасно работает, как и должно. Заметил, что страницы грузят уж ооооочень долго и мышь двигается медленнее, чем моя 90-летняя бабушка(отключать эмуляцию мыши не варик), но проблема не в прокси. Их скорость хорошая, пул большой (1 поток может выбирать на выбор 1 из 3-х прокси, т.е на 12 потоков пул 36 прокси). Хз че делать, уже всю голову себе сломал, помогите, гуру баса
-
Версию BAS укажи.
На локальном компьютере нормально работает на множестве потоков? -
@sergerdn Последняя. На локальном не проверял
-
@SUICIDEW4VE said in Вопрос по оптимизации скрипта.:
@sergerdn Последняя. На локальном не проверял
Так в чем у тебя вопрос? Почему не работает, как ты ожидаешь на удаленном сервере или почему не работает в принципе как ты ожидаешь?
Не хочешь выяснить в чем дело? В сервере или в скрипте?
-
@SUICIDEW4VE Ресурсов на сервере не хватает вот и лагает.
-
@SUICIDEW4VE said in Вопрос по оптимизации скрипта.:
@UserTrue 8 ядер и 32 гб по твоему не хватает?
Легко, все зависит от скрипта. А главное vds часто пиздят, и по сути они и не предназначены для постоянной высокой нагрузки. Этот как shared proxy ))
-
@sergerdn я же описал, что в скрипте точно нет проблемы, т.к в однопотоке все хорошо работает. Не думаю что дедик 8/32 не выдержит 12 потоков
-
@SUICIDEW4VE said in Вопрос по оптимизации скрипта.:
@UserTrue скрипт то не требовательный. Обычный брут, который на запросах из-за защиты не сделаешь. Все ненужные модули отключил
Ну если VDS а не выделенный сервер, то многие продавцы оверсселят, и сервер просто не вывозит.
-
@SUICIDEW4VE said in Вопрос по оптимизации скрипта.:
@UserTrue vps сервер от проверенного сервиса, а не от какого-то рандомного продавца. тут все чисто
Параметры VDS это в любом случае про пиковую мощность, поэтому они и дешевле чем нормальный сервер. Если вам повезло попасть на сервер на котором еще пару таких скриптов на БАС и тп крутится то приехали... )))
-
@SUICIDEW4VE said in Вопрос по оптимизации скрипта.:
@UserTrue разве VPS и VDS это одно и то же?
Обычно да, видел поставщиков у которых были отдельно VPS для высокой нагрузки с гарантированными ресурсами, но они были дороже. Сам уже очень давно перешел на свое железо.
-
@SUICIDEW4VE said in Вопрос по оптимизации скрипта.:
@sergerdn я же описал, что в скрипте точно нет проблемы, т.к в однопотоке все хорошо работает. Не думаю что дедик 8/32 не выдержит 12 потоков
Я обычно не думаю, а проверяю. Но тут каждый сам решает - думать ему или проверять.
-
@sergerdn что может быть нерабочего в скрипте из нескольких блоков, где мне нужно пару раз тыкнуть на кнопочки, пару раз дождаться элемента и ввести немного данных, а потом опять нажать на кнопочку, подождать элемент и вытянуть текст?
-
@SUICIDEW4VE said in Вопрос по оптимизации скрипта.:
@sergerdn что может быть нерабочего в скрипте из нескольких блоков, где мне нужно пару раз тыкнуть на кнопочки, пару раз дождаться элемента и ввести немного данных, а потом опять нажать на кнопочку, подождать элемент и вытянуть текст?
Понятия не имею.
-
@SUICIDEW4VE said in Вопрос по оптимизации скрипта.:
@UserTrue vps сервер от проверенного сервиса, а не от какого-то рандомного продавца. тут все чисто
Недавно брали vds на зомро c 8 ядрами и 8 оперативки, так BAS в 2 потока работал просто ужасающе. Тот же скрипт на другом вдс 2 ядра и 2 оперативки, работает щас в те же 2 потока на раз два.
Так что не откидывайте вариант не добросовестного сервера, всякое бывает. -
@Dodok said in Вопрос по оптимизации скрипта.:
@SUICIDEW4VE said in Вопрос по оптимизации скрипта.:
@UserTrue vps сервер от проверенного сервиса, а не от какого-то рандомного продавца. тут все чисто
Недавно брали vds на зомро c 8 ядрами и 8 оперативки, так BAS в 2 потока работал просто ужасающе. Тот же скрипт на другом вдс 2 ядра и 2 оперативки, работает щас в те же 2 потока на раз два.
Так что не откидывайте вариант не добросовестного сервера, всякое бывает.Понял, спасибо всем.
-
@SUICIDEW4VE надо проверить frame rate в браузере, если ты жёстко перегрузил систему, то фпс упадёт, а все действия будут с задержкой выполнятся.
Флаг--show-fps-counterКак это выглядит
p.s очень хорошо, что люди в 2023 измеряют "мощность сервера" для BAS по количеству ядер и оперативки xD
