Bablosoft

Опять про многопоточность...

Поддержка

  • fluffikF

    Опять ддос? Или что-то новое?)

    Поддержка
    0 Votes
    9 Posts
    836 Views
    tet-viviT

    @UserTrue said in Опять ддос? Или что-то новое?):

    @FastSpace Ну значит опять Вася из 7б )))

    некоторые сервера сделаны так что ддосят сами себя

  • P

    Как настроить многопоточность в парсере?

    Поддержка
    0 Votes
    2 Posts
    857 Views
    FoxF

    @prakash said in Как настроить многопоточность в парсере?:

    Раньше у меня не возникало нужды в парсинге многопотоком и я не заморачивался над этим, но теперь он мне понадобился и я решил спарсить юзеров в многопоточном режиме и увидел, что все потоки парсят одних и тех же пользователей....

    По идее же должно быть так:
    Первый поток парсит первого юзера, второй поток парсит второго юзера и тд...

    А у меня все потоки парсят одно и тоже.
    Как это настроить?

    В этом https://www.youtube.com/watch?v=Vj2Q50FIBi4 видео уроке как раз рассказана тема многопоточности.

  • S

    Опять "Таймаут во время выполнения"

    Поддержка
    0 Votes
    7 Posts
    1638 Views
    S

    @fox Я не думаю, что это баг. Просто сама логика действий с браузером не до конца продумана. Скорее всего эта ошибка возникает из-за того, что сейчас сайты очень часто загружаются частями: сначала один кусок кода, потом другой. И xpath, который прописан для полностью загруженной страницы, не всегда правильно срабатывает на частично загруженной. А функция ждать полной загрузки на таких сайтах косячит еще больше и становится практически бесполезной.

    И еще, например, ситуация: на странице, которую хотим загрузить, есть элемент, на который ставим ожидание появления. Но если на текущей странице тоже есть такой же элемент, то с большой вероятностью ожидание элемента вернет true на текущей странице и не дождется его на той странице куда собираемся перейти.

  • CaptchaLomC

    вопрос про базу и разделитель

    Поддержка
    0 Votes
    14 Posts
    2414 Views
    FoxF

    @angelofancient said in вопрос про базу и разделитель:

    @captchalom said in вопрос про базу и разделитель:

    если нельзя то это очень плохо

    В продолжение вопроса - как Вы экспортируете многострочные тексты, разделённые переводом строки? Если у меня в ячейке описание продукта на 2-3 строки, то в CSV они экспортируются построчно, и потом не пригодны ни к делению по столбцам, ни к делению по разделителю ":".

    Поместите "описание" в кавычки:
    0_1569721871473_3cf064f3-4131-428f-82d6-17cac2721937-изображение.png
    0_1569720073837_d4b6dbc7-7524-43ac-9342-e44f4ea7cc9b-изображение.png

  • N

    Перестала работать многопоточность

    Поддержка
    0 Votes
    4 Posts
    1131 Views
    N

    @venom777 said in Перестала работать многопоточность:

    @Nigativ возможно потоки ждут освобождения какого-то ресурса, или если используется база то проблема может быть в ней

    Спасибо. Действительно один из ресурсов сбросился до 1 в одновременном использовании.
    Я и не подумал про это! Теперь все работает вновь.