Bablosoft

Парсинг

Moved Поддержка

  • D

    Парсинг с выводом в бд

    Поддержка
    0 Votes
    15 Posts
    1942 Views
    FoxF

    @Ditry said in Парсинг с выводом в бд:

    Вообщем, прокрутка страницы вниз решила проблему в обоих случаях, спасибо всем, кто помогал.

    Всем? :D

  • K

    Парсинг строки

    Поддержка
    0 Votes
    9 Posts
    1217 Views
    FoxF

    @kelvin said in Парсинг строки:

    Доброго времени суток
    Проблема заключается в реализации парсинга строки из txt.
    Делаю шаб на многопотоке на несколько разных аккаунтов, новый акк с новой строки в txt
    Вид строки такой:
    IpProxy:LoginProxy:ProxyPassword:TEST@yahoo.com:Password:{"cookies":[{"creation":{"day_of_month":"5","day_of_week":"0","hour":"18","millisecond":"159"......

    Проблема заключается в том что для входа в каждый аккаунт мне требуются куки и в связи с этим я запихнул их в строку, но парсинг строки не хочет парсить ее до конца, то есть все парсит отлично от IpProxy до Password, потом наступает очередь куков и их обрезает до первого двоеточия (получаю на выходе такое ""cookies"") , так как в парсинге строки двоеточие - разделение между значениями , а в куках этих двоеточий достаточно.

    Вопрос, как это можно реализовать , что бы куки не обрезались или возможно кто подскажет другой способ? Пробовал сделать через csv , но там не получается так как строка с куками слишком длинная и оно все криво сохраняет.

    Вы можете кодировать куки в base64. Но я бы посоветовал сохранять куки в отдельный файл и называть его логином аккаунта. При работе просто читать файл с куками по логину аккаунта.

  • A

    Парсинг regex как сделать правильно?

    Поддержка
    0 Votes
    4 Posts
    1329 Views
    FoxF

    @avtopars

    я не нашел список->в ресурс разве циклом по 1 элементу брать с списка и писать в ресурс.

    Именно так, в режиме запуска это происходит мгновенно.

    Только смысл сего действа если можно было изначально так делать.

    Xpath выдаёт результат надёжнее регулярки и быстрее, да и потребляет меньше ресурсов (хоть я и люблю регулярки :D)

    А русурс нужен чтоб многопотоком после пройтись по всем ссылкам(как я понимаю список для этого не пригоден)

    Можно ещё список записать в глобальную переменную и он будет виден всем потокам. Но чтобы потоки не брали одинаковые значения, идеально подойдёт ресурс.

  • P

    Парсинг конента

    Поддержка
    0 Votes
    7 Posts
    2898 Views
    ToolsmanT

    Почти у всех сайтов есть одинаковые коды, такие как НАЗВАНИЕ к примеру. Ну дальше вы поняли наверно да ?

  • venom777V

    Стоп-слова. Парсинг и строки

    Поддержка
    0 Votes
    4 Posts
    2172 Views
    supportS

    @venom777

    Как можно сделать проверку на наличие стоп слов на: странице, в определенном участке на странице? Если стоп-слова заданы в файле и их количество >1000шт. Ну, или сравнить переменную в которой получен никнейм со списком стоп-слов (4к строк), кто-то пробовал?

    Да, я пробовал. Это делается в 2 действия "Ресурс В Список" и "Получить Индекс". Работает на 10 к списке мгновенно
    0_1479039057258_stopwords.xml

    Для того, чтобы проверить наличие слов на странице нужно сначала получить все слова на странице в список, потом сделать проверку в цикле. Если запускать в режиме "Запись", то проверка стоп слов выполняется мгновенно.
    0_1479039804112_stopwords.xml

    Из последнего проекта вы можете сделать функцию и использовать при каждой загрузке страницы.

    Как брать из файла строки мы все знаем, но как можно брать из файла предложения с сохранением форматирования? К примеру, сделать граббер новостей с сайта источника на свой сайт.

    Перед записью новости в файл вы можете кодировать ее в base64, а после чтение раскодировать(все это действием base64)