Bablosoft

парсинг эмаил

Поддержка

  • T

    парсинг строк в многопотоке

    Поддержка
    0 Votes
    4 Posts
    786 Views
    FoxF

    @themarket said in парсинг строк в многопотоке:

    у меня есть скрипт, который работает в 2 потока, потоки могут начинаться и заканчиваться в разное время, также есть текстовый файл, в котором 2 строки, делаю через парсить CSV строку. Как сделать так, чтобы первый поток всегда работал только с первой строкой из файла, а поток 2 только со 2 строкой соответственно?

    Читайте файл в список, определяйте номер потока и получайте строку из списка по индексу. Только учтите, что нумерация потоков начинается с 1, а индекс элементов списка с 0.

  • I

    Как сделать сон и парсинг

    Moved Поддержка
    0 Votes
    4 Posts
    928 Views
    ?

    @bordachenkov said in Как сделать сон и парсинг:

    , что должны быть чел. факторы, но на то он и бас чтобы их сделать. Человек может спрашивает как это внедрить именно кодом, самому интересно

    При входе получаем дату. Из даты часы.
    Это у нас исходное время.

    К этому времени добавляем к примеру 3-4 часа. Это переменная выход.

    alt text

    Далее после того как мы выполнили все действия, снова проверяем время, если оно совпадает с переменной выхода, то выполняем действия.

    alt text

  • M

    Как сделать многопоточный парсинг (объясните простыми словами, пожалуйста)

    Поддержка
    0 Votes
    8 Posts
    1490 Views
    tet-viviT

    @GameBot

    использовать бд.
    можно пачками получать набор ид которые еще не обработаны.
    опробовано на практике.(~15 миллионов ид/страниц)

    можно на асинхронных функциях в цикле.
    текущий N и запуск новых M. и при интеграции N = N + M.

    Чтобы этого избежать можно тупо взять и загнать в файл с 1 до последнего нужного нам id. Далее создать ресурс из файла.

    если не критично, можно исключить работу с файлом. А сразу создать ресурс и загнать туда набор ид.

  • B

    парсинг кэш - regexp функция

    Поддержка
    0 Votes
    5 Posts
    846 Views
    FoxF

    @battleground said in парсинг кэш - regexp функция:

    @GhostZ said in парсинг кэш - regexp функция:

    @battleground, JSON.stringify() или действие "Изменить формат" в модуле JSON, только зачем с обетом работать с помощью регулярки? Через js или модуль JSON быстрее и менее ресурсозатратно.

    эти варианты пробовал, не работают так же, сначала хотел преобразовать через json модуль в json а потом в строку, но нет привета ответа.
    JSON.stringify() не пробовал, хотя сомневаюсь что он сработает если модуль не сработал

    Тип данных - объект. Для лучшего понимания прочитайте "ассоциативные массивы"

  • brotokB

    Как сделать парсинг части ссылок со страницы (по стилю)?

    Поддержка
    0 Votes
    2 Posts
    669 Views
    FoxF

    @brotok said in Как сделать парсинг части ссылок со страницы (по стилю)?:

    Здравствуйте!
    хочу настроить парсинг по сайту.
    Вот ссылка - https://www.find-org.com/search/all/?val=01
    Там когда заходишь - есть часть ссылок серых - недействующие организации, а часть - черные - т.е. те которые актуальные.
    Вопрос - как спарсить только ссылки на действующие организации?
    возможно ли это вообще? ума не приложу как это сделать...

    Быстрее всего спарсить через xpath:

    //p/a[@href and ..//span[not(contains(@class,'not'))]]

    Тестовый скрипт