Bablosoft

.txt список из 10 миллионов строк

Поддержка
  • K

    Задача пройти GET-ом по этому списку, с удалением пройденных строк. Я так понимаю мне надо из файла выгрузить в список, но переварит ли БАС?
    Файла на руках пока не имею, поэтому нет возможности проверить. Задача не подвесить свой ноутбук.

    FoxF ? 2 Replies
    0
  • FoxF

    @Kodak said in .txt список из 10 миллионов строк:

    Задача пройти GET-ом по этому списку, с удалением пройденных строк. Я так понимаю мне надо из файла выгрузить в список, но переварит ли БАС?
    Файла на руках пока не имею, поэтому нет возможности проверить. Задача не подвесить свой ноутбук.

    Как вариант - сохранить в файл и читать побайтово

    0
  • ?

    @Kodak лучше загрузить его в бд бас

    0

  • F

    Как из SAVED_COOKIES вынести только значение из auth-token?

    Поддержка
    0 Votes
    4 Posts
    541 Views
    FoxF

    @firrov said in Как из SAVED_COOKIES вынести только значение из auth-token?:

    У меня имеется авторегер для твича созданный на BASе, но я хочу модифицировать его так, чтобы извлекать auth-token в текстовой файл отдельно от всех кукисов при их сохранении.

    Вот сама строка с названием auth-token, где после "value": идет сам токен -

    {"domain":".twitch.tv","expires":1757910799,"httpOnly":false,"name":"auth-token","path":"\/","priority":"Medium","sameParty":false,"sameSite":"None","secure":true,"session":false,"size":40,"sourcePort":443,"sourceScheme":"Secure","value":"g4dm3zt6wfchw6zgjskldp8tulc4va"}

    Как мне извлечь само значение? Заранее спасибо

    48a6780e-9cbc-4be6-9de3-f8957dfd792f-изображение.png

    335f147c-b54b-43c1-b3dd-e5b994f7d3c2-изображение.png

  • J

    Вытянуть атрибут из атрибута

    Поддержка
    0 Votes
    18 Posts
    1712 Views
    J

    Сделал через "костыли",но получилось так:
    Получаю код страницы (в моем случае код поста/записи)
    Извлекаю все данные через выражения, при этом ставлю только цифры (там получается как раз в первых двух ковычках нужные переменные)
    Затем парсю строку и присваиваю этим первым двум ковычкам 2 переменные.
    Профит

  • M

    Скрипт заканчивается из-за сброса

    Поддержка
    0 Votes
    3 Posts
    412 Views
    FoxF

    @MP said in Скрипт заканчивается из-за сброса:

    У меня иногда бывает, что сброс длится слишком долго и из-за этого скрипт завершается. Пришлось сделать игнорирование ошибки и повторять сброс заново. Может есть факторы влияющие на очистку браузера или почему так происхоит?

    Как эту ошибку можно повторить?

  • ReversR

    Как в действие "Первое вхождение" прописать регулярку из нескольких строк?

    Поддержка
    0 Votes
    2 Posts
    418 Views
    FoxF

    @Revers said in Как в действие "Первое вхождение" прописать регулярку из нескольких строк?:

    Как в действие "Первое вхождение" прописать регулярку из нескольких строк?
    На странице регистрации 5 строк с разными токенами, только 2 из них верные. Все строки одинаковые:

    <input name="__RequestVerificationToken" type="hidden" value="(.*?)"

    Чтобы взять нужный токен, нужно захватить верхнюю строку. Но если прописать

    action="\/account\/register" method="POST"> <input name="__RequestVerificationToken" type="hidden" value="(.*?)"

    в поле "Регулярное выражение" действия "Первое вхождение", то не срабатывает действие, видимо из-за переноса строк. Как правильно прописать?

    Для парсинга html используйте xpath

  • I

    Большой список

    Поддержка
    0 Votes
    5 Posts
    857 Views
    xclsvX

    @ishka94
    Напишите многопоточный скрипт.
    В качестве основного ресурса для потоков и будет указанный Вами список.
    50к строк выгрузите в глобальный список. И проверяйте совпадения через foreach.
    Скорость проверки будет зависеть от количества потоков.