Как облегчить скрипт?



  • Как еще облегчить скрипт, по мимо отключения картинок, гифок и видео?



  • @HorseHorse said in Как облегчить скрипт?:

    Как еще облегчить скрипт, по мимо отключения картинок, гифок и видео?

    Написать его на запросах.



  • Если нужна работа с браузером, то добиваться как можно меньшей нагрузки от сайтов. Клики и загрузки страниц потребляют больше всего ресурсов. Поиск/клики по изображению прилично грузят систему.

    Что бы запустить как можно больше потоков и сохранить при этом стабильность системы можно сделать очередь. Очередь загрузки страниц, очередь кликов (когда нужно кликнуть и после этого идет загрузка страниц (нагрузка). Например через глобальные переменные можно организовать взаимодействие между потоками - сделать что бы одновременно загружались страницы не более чем в 10 потоках.

    Делается это так:

    1. Объявляете глобальную переменную (в OnApplicationStart проще всего). Ставите ей значение 0.
    2. Перед входом в функцию проверяем что бы значение переменной было < 10.
      2.1. Если значение >= 10 то ждем n-секунд и повторяем условие проверки <10.
      2.2 Если значение < 10 входим в функцию и увеличиваем глобальную переменную на 1.
    3. Перед выходом из функции уменьшаем глобальную переменную на 1.

    Мне таким образом удалось работать не в 20 потоков, а в 60. Позже конечно перешел на http клиент с закрытием браузером и уже не 60 потоков, а 250-300.



  • @xclsv снизить количество кадров в настройках, работать с мобильной версией, если используется браузер.


  • administrators

    @xclsv Ещё можно посмотреть сам сайт, много скриптов загружается лишних, те же счётчики или реклама. Через запретить запрос и имя файла с расширением .js.



  • @venom777 я новичек в этом, можно подробней



  • @romanbiz said in Как облегчить скрипт?:

    @xclsv снизить количество кадров в настройках, работать с мобильной версией, если используется браузер.

    нет мобильной версии



  • @venom777 Почему бы тогда просто не запустить в 10 потоков?
    По теме: Объясните за Колл-во кадров, что за фича , сколько можно максимум снизить для нормальной работы?



  • @steamcs1.7 потому что можно запустить в 60 потоков вместо 10. Это работает как сужение в воронке. В узких местах образуется очередь, в широких местах очередь не нужна



  • @venom777 said in Как облегчить скрипт?:

    Если нужна работа с браузером, то добиваться как можно меньшей нагрузки от сайтов. Клики и загрузки страниц потребляют больше всего ресурсов. Поиск/клики по изображению прилично грузят систему.

    Что бы запустить как можно больше потоков и сохранить при этом стабильность системы можно сделать очередь. Очередь загрузки страниц, очередь кликов (когда нужно кликнуть и после этого идет загрузка страниц (нагрузка). Например через глобальные переменные можно организовать взаимодействие между потоками - сделать что бы одновременно загружались страницы не более чем в 10 потоках.

    Делается это так:

    1. Объявляете глобальную переменную (в OnApplicationStart проще всего). Ставите ей значение 0.
    2. Перед входом в функцию проверяем что бы значение переменной было < 10.
      2.1. Если значение >= 10 то ждем n-секунд и повторяем условие проверки <10.
      2.2 Если значение < 10 входим в функцию и увеличиваем глобальную переменную на 1.
    3. Перед выходом из функции уменьшаем глобальную переменную на 1.

    Мне таким образом удалось работать не в 20 потоков, а в 60. Позже конечно перешел на http клиент с закрытием браузером и уже не 60 потоков, а 250-300.

    можно подробней я нуб в этом



  • @HorseHorse вот тут я в скринах показывал http://community.bablosoft.com/post/20358
    если и так не понятно, то могу позже кусок проекта загрузить сюда



  • @venom777 said in Как облегчить скрипт?:

    @HorseHorse вот тут я в скринах показывал http://community.bablosoft.com/post/20358
    если и так не понятно, то могу позже кусок проекта загрузить сюда

    я пытаюсьсделать постер фоток в flikr



  • @venom777 said in Как облегчить скрипт?:

    @HorseHorse вот тут я в скринах показывал http://community.bablosoft.com/post/20358
    если и так не понятно, то могу позже кусок проекта загрузить сюда

    то есть мне надо что бы десять потоков постили фотки без перерыва в flikr



  • @HorseHorse качается фидлер, снифаюся запросы, повторяются в басе. Нагрузки почти нет. p.s. на ютубе подробный гайд есть



  • @artihorror said in Как облегчить скрипт?:

    @HorseHorse качается фидлер, снифаюся запросы, повторяются в басе. Нагрузки почти нет. p.s. на ютубе подробный гайд есть

    можно ссылочку



  • @HorseHorse я тебе 5 минут назад ссыль на канал залил. ищи похожие. стрим от drprime вроде



  • @artihorror said in Как облегчить скрипт?:

    @HorseHorse я тебе 5 минут назад ссыль на канал залил. ищи похожие. стрим от drprime вроде

    на какой канал ты мне что то давал, где? я в упор не вижу ссылки, ты ничего не путаешь, если на бас официальный, так я и так знаю, а на счет другого, чувак, ну ты блин дал, по твоей наводке черте что выдается, но только не то что нужно, это равносильно тому что я тебе скажу, ищи Васю Пупкина в вконтакте



  • @HorseHorse https://www.youtube.com/watch?v=fC97DG2MHQM&t=13367s второй результат по выдаче поиска ютуба по запросу browser automation studio.



  • @artihorror said in Как облегчить скрипт?:

    @HorseHorse https://www.youtube.com/watch?v=fC97DG2MHQM&t=13367s второй результат по выдаче поиска ютуба по запросу browser automation studio.

    а у меня, бред про геймеров и майнкрафт выдает, не забывай под разный гео ютуб сейчас все что угодно выдает в поиске



  • @HorseHorse никогда не видел чтоб поиск слал накер запрос пользователя и показывал бред по своему желанию