Bablosoft

Оптимизация работы с текстовыми файлами

Поддержка
  • S

    Добрый день. Есть текстовый файл с 1 миллионов строк формата логин:пароль.
    Скрипт с ним работает в многопотоке на http запросах. После удачного использования удаляет, то есть на ресурсе стоит записать, а так же удачные результаты записывает в новый текстовый файл. Каждая удача перезапускает поток, работает не в цикле - так как работа с полным окончанием потока в разы проще (можно настроить количество удач, неудач ресурса, количество одновременных использований). Так вот когда софт работает с такими огромными файлами в 300 потоков, просто зависает - как можно эти моменты решить!? Сам скрипт идет на 5 запросов - 2 get и 3 post. Я так понимаю скрипту тяжело в многопотоке постоянно удалять удачные использованные строки с файла и записывать в новые. Что ребята можете подсказать, как оптимизировать!? Использовать БД!? Или как поступить!? Спасибо

    A 1 Reply
    0
  • A

    @saifer , так ресурс или файл? В ресурс изменения сохраняются не сразу для экономии как раз, а запись в файл может тормозить. Как вариант можно попробовать успехи тоже в ресурс записывать или в глобальный список, а в конце работы список сохранить в файл. Но проще в ресурс сразу, наверное.

    S 1 Reply
    0
  • S

    @Antonio Работает с файлом сразу, и записывает сразу в файл. Проблема в том что если софт на протяжение работы крашнется - к примеру - то ни 1 сохранения не будет. И как сделать что бы последний работающий поток, к примеру, сохранил список сразу весь в файл?)
    И я так понимаю проблема то не в записи именно конечного результата в тестовый файЛ, А считывание строк с большого файла и удаление их после использования

    ? S 2 Replies
    0
  • ?

    @saifer используйте бд

    1
  • S

    @saifer said in Оптимизация работы с текстовыми файлами:

    И я так понимаю проблема то не в записи именно конечного результата в тестовый файЛ, А считывание строк с большого файла и удаление их после использования

    Да

    Если БД не подходит, я делал так: записывал отработанные данные в файл, из изначального файла строки не удалял. Перед следующим запуском скрипта, фильтрую изначальный файл отработанным файлом и по нему работаю

    0