Bablosoft

Многопоток (100+)

Поддержка

  • G

    Как запустить 100 потоков?

    Moved Поддержка
    0 Votes
    5 Posts
    400 Views
    G

    @FastSpace Вот как раз и пытаюсь уточнить мне неизвестные способы оптимизации)

  • T

    Многопоток. Дождаться завершения, обновить данные и начать снова

    Поддержка
    0 Votes
    1 Posts
    321 Views
    No one has replied
  • S

    получить 100% кликабельний елемент

    Поддержка
    0 Votes
    3 Posts
    416 Views
    S

    @FastSpace не могу придумать по чем искать.
    Хотелось б тут зафиксировать результат для будущих поколений, например:

    XPATH> //div[contains(@*,"menu")]/a - в етом есть смысл;
    XPATH> //div/a - ето может и хорошо но верхний вариант получше, хотелось бы найти названия таких атрибутов, где есть смысл розмещения найболее посещаемих частей сайта

  • BabloUserB

    Более 100 потоков BAS задыхается.

    Поддержка
    0 Votes
    27 Posts
    7839 Views
    V

    @support said in Более 100 потоков BAS задыхается.:

    @bablouser Здесь есть 2 момента, которые можно оптимизировать.

    Создание отдельного потока для хттп клиента. Я сделаю так, чтобы он не создавался, а запросы работали через curl_multi_perform.

    Использование регулярных выражений. Вы можете значительно повысить производительность уже сейчас если будете использовать xpath из модуля http клиент.

    Не подскажите как реализовать первый вариант?

  • B

    Многопоток в парсинге.

    Поддержка
    0 Votes
    15 Posts
    4407 Views
    CruzelC

    @Bonifazzziy смотрите, идея того алгоритма, который я предложил:

    В функции OnApplicationStart происходит заполнение ресурса Page нужными номерами страницы. К примеру нужны нам с 1 по 10 страницу. С помощью цикла FOR с 1 до 10 мы добавляем в ресурс такие элементы: 1, 2 , 3 ,4 , 5 и т.д. Потом мы уже в цикле, где парсятся данные (где у вас идёт блок Загрузить, и т.д.) в адресе страницы указываем http://site.ru/users?page={{Page|notreuse}} ну или по другому, смотря какая у вас именно ссылка. Ресурс выдаёт вам номер страницы, и эти страницы не будут повторяться между потоками. Вы получаете нужные данные в многопотоковом режиме.

    Вообще для всех данных я рекомендую использовать ресурсы, потому что с ними не будет проблем при многопотоковой работе.
    Думаю позже сделать свой блог, там буду подробно об этом рассказывать.