Многопоток/парсинг



  • Здравствуйте! :) Относительно недавно изучаю Bas, сделал парсер ссылок на обьявления в категории "Недвижимость" olx. Как сделать, чтобы парсинг происходил во многопотоке? Тоесть, если в 25 потоков, чтобы каждый поток брал новую ссылку и она не повторялась в другом потоке.
    Я что-то пробовал, клацал, но очень много дубликатов ссылок создаётся. Теорию смотрел, разные каналы юзал, что-то ни в какую... Пока что на "Вы" c многопотоком :)
    Забыл добавить, что парсер сделан на Get/Post запросах
    Шаб прикрепил
    olx.xml



  • используй "ресурсы"



  • @tet-vivi
    Я делал threads ресурс, тобишь многопоток сам, указывал этот ресурс в Количество потоков и всёScreenshot_6.png



  • @Pixel предположем у тебя есть 10 страниц для парсинга.
    2 потока в бас.
    ты можешь добавить эти 10 ссылок на сраницы в ресурс. там станет 10 элементов.
    после этого каждый раз получая значение из ресурса можно получать новую ссылку(при правельных настройках)

    в справочных материалах было в том числе и в видео как разделить данные по нескольким потом.

    т.е. ты хочешь многопоточно из 1 страницы парсить ссылки?



  • This post is deleted!


  • @tet-vivi Не понял логику. У меня изначально нет страниц, я их собираюсь парсить.
    "т.е. ты хочешь многопоточно из 1 страницы парсить ссылки?" - Во многопоток парсить ссылки на обьявления вот и всё. Что значит "из 1 страницы?"



  • @Pixel said in Многопоток/парсинг:

    @tet-vivi Не понял логику. У меня изначально нет страниц, я их собираюсь парсить.
    "т.е. ты хочешь многопоточно из 1 страницы парсить ссылки?" - Во многопоток парсить ссылки на обьявления вот и всё. Что значит "из 1 страницы?"

    есть ссылки на страницы, значит. эти ссылки можно засунуть в ресурс например



  • @Pixel Может под каждую Страницу Сайта сделать Ресурс Запись в Файл, ну и на каждой и подключать уже другой Ресурс :)
    Порой не всё так сложно как кажется и всё навиду находится а просто мы не замечаем :)


Log in to reply