Bablosoft

Как настроить многопоточность в парсере?

Поддержка
  • P

    Раньше у меня не возникало нужды в парсинге многопотоком и я не заморачивался над этим, но теперь он мне понадобился и я решил спарсить юзеров в многопоточном режиме и увидел, что все потоки парсят одних и тех же пользователей....

    По идее же должно быть так:
    Первый поток парсит первого юзера, второй поток парсит второго юзера и тд...

    А у меня все потоки парсят одно и тоже.
    Как это настроить?

    FoxF 1 Reply
    0
  • FoxF

    @prakash said in Как настроить многопоточность в парсере?:

    Раньше у меня не возникало нужды в парсинге многопотоком и я не заморачивался над этим, но теперь он мне понадобился и я решил спарсить юзеров в многопоточном режиме и увидел, что все потоки парсят одних и тех же пользователей....

    По идее же должно быть так:
    Первый поток парсит первого юзера, второй поток парсит второго юзера и тд...

    А у меня все потоки парсят одно и тоже.
    Как это настроить?

    В этом https://www.youtube.com/watch?v=Vj2Q50FIBi4 видео уроке как раз рассказана тема многопоточности.

    0

  • B

    Как отключить все звуки в браузере?

    Поддержка
    0 Votes
    2 Posts
    493 Views
    S

    В Настройки браузера -> Аргументы командной строки добавь:
    --mute-audio

  • K

    Как узнать количество пробелов в строке?

    Поддержка
    0 Votes
    7 Posts
    1066 Views
    _

    @kuzkuz можно вот так
    2021-11-01_223341.png
    создать переменную в конструкторе. Ни каких доп. модулей и пойдет на любой версии.

  • I

    Как указанное время перевести в миллисекунды

    Поддержка
    0 Votes
    13 Posts
    1233 Views
    I

    @tet-vivi вот так:

    /*Dat:eyJzIjoidGV4dCIsInYiOjEsImYiOltdLCJ1dyI6IjAiLCJ1dCI6IjAiLCJ1dG8iOiIwIiwidW0iOiIwIiwiZCI6W3siaWQiOiJTYXZlVGV4dCIsInR5cGUiOiJ2YXIiLCJkYXRhIjoiU0FWRURfVEVYVCJ9XSwicCI6eyJpc19pbWFnZSI6ZmFsc2UsImNzcyI6IiA+Q1NTPiAjdGltZXItMTEwOTg2NSIsInZlcnNpb24iOiIxLjAiLCJjc3MxIjoiID5DU1M+ICN0aW1lci0xMTA5ODY1IiwiY3NzMiI6IiA+Q1NTPiBzcGFuIiwiY3NzMyI6IiIsImN1cnJlbnQiOiJjc3MiLCJtYXRjaCI6Ij5NQVRDSD48c3BhbiBpZD1cInRpbWVyLTExMDk4NjVcIj4wZCAxaCAxNm0gMjZzIDwiLCJ4cGF0aCI6IiA+WFBBVEg+IGlkKFwidGltZXItMTEwOTg2NVwiKSIsImF0IjoiMzU0LCAyODUiLCJ3ZSI6dHJ1ZSwiZmEiOnRydWV9fQ==*/ /*Browser*/ _SELECTOR = " \u003eCSS\u003e #timer-1109865"; wait_element(_SELECTOR)! get_element_selector(_SELECTOR, false).text()! VAR_SAVED_TEXT = _result() section_end()! section_start("", 238272681)! /*Dat:eyJzIjoiaWYiLCJ2IjoxLCJyb2xlIjoibWFzdGVyIiwic2xhdmUiOjgwMTI3MDg5MywibWFzdGVyIjoyMzgyNzI2ODEsImlmX3ZhciI6Il9jeWNsZV9wYXJhbXMoKS5pZl9lbHNlIiwiZiI6W10sInV3IjoiMCIsInV0IjoiMCIsInV0byI6IjAiLCJ1bSI6IjAiLCJkIjpbeyJpZCI6IklmRXhwcmVzc2lvbiIsInR5cGUiOiJjb25zdHIiLCJkYXRhIjoiW1tTQVZFRF9URVhUXV0gIT0gMCIsImNsYXNzIjoiZXhwcmVzc2lvbiJ9LHsiaWQiOiJJZkVsc2UiLCJ0eXBlIjoiY2hlY2siLCJkYXRhIjp0cnVlfV19*/ _cycle_params().if_else = VAR_SAVED_TEXT != 0; _if(_cycle_params().if_else,function(){ section_insert() })! section_end()! section_start("\u007b\u0022n\u0022:\u0022Else\u0022\u007d", 801270893)! /*Dat:eyJzIjoiaWYiLCJ2IjoxLCJyb2xlIjoic2xhdmUiLCJzbGF2ZSI6ODAxMjcwODkzLCJtYXN0ZXIiOjIzODI3MjY4MSwiaWZfdmFyIjoiX2N5Y2xlX3BhcmFtcygpLmlmX2Vsc2UiLCJmIjpbXSwidXciOiIwIiwidXQiOiIwIiwidXRvIjoiMCIsInVtIjoiMCIsImQiOlt7ImlkIjoiSWZFeHByZXNzaW9uIiwidHlwZSI6ImNvbnN0ciIsImRhdGEiOiJbW1NBVkVEX1RFWFRdXSA9IDAiLCJjbGFzcyI6ImV4cHJlc3Npb24ifSx7ImlkIjoiSWZFbHNlIiwidHlwZSI6ImNoZWNrIiwiZGF0YSI6dHJ1ZX1dfQ==*/ _if(!_cycle_params().if_else,function(){ section_insert() })! delete _cycle_params().if_else; section_end()! ```
  • diloloD

    Как переменную превратить в число

    Поддержка
    0 Votes
    5 Posts
    1028 Views
    diloloD

    @Bigma Про это не знал. Спасибо попробую

  • TuruturT

    многопоточность в проекте

    Поддержка
    0 Votes
    36 Posts
    25134 Views
    supportS

    @Turutur

    Увы это не так! - и если оно так, то оно реализовано так, что как-то не так - без обид.

    Могу с вами поспорить. Это действительно так просто. И в том проекте, что я вам сделал так и происходит.

    А для чего они очищаются - если бы нужно было действие для очистки - его можно вызывать тогда когда оно нужно - а вот функция для настройки вначале работы скрипта с тем алгоритмом что я описал - была бы просто незаменима!

    Просто выполняйте действия по настройке браузера в начале работы потока, а не в OnApplicationStart.
    Если нужно сделать что-то 1 раз в начале работы скрипта - выполните это в OnAplicationStart и поместите результаты в глобальную переменную или ресурс, а потом читайте от туда в основном потоке. Пример тоже был.

    Потому что это не совсем понятный, долгий процесс

    Что именно не понятно? Что может быть проще, чем поставить {{users}} в коде?

    я верю в BAS - и то что пишу, трачу свое время - пытаюсь сделать его лучше - и я не пишу претензии, если так могло показаться - это предложения - ведь мы ведем двухстороннюю беседу - и BAS вы выложили не готовым, и продолжаете совершенствовать. И не нужно относится ко мне как к зануде - вы можете не отвечать на то что я пишу - и Вы должны согласится что не все просто как хотелось бы, как и я соглашаюсь с тем, что вы делаете очень сложную работу. Просто не забывайте, что на другой стороне ваших знаний - есть простые пользователи.

    Опять же не соглашусь с вами, все очень просто.
    Конкретных предложений от вас в этом сообщении кроме как поменять принцип работы OnApplicationStart я не вижу.

    Посмотрите на досуге
    0_1478736294193_123OK.rar

    Посмотрел. У меня ваш скрипт работает, вот результат.

    0_1478780996092_Result.png

    Возможно дело в том что вы вписали 1 акк и указали количество одновременных использований в 1 для пользователей?