Добрый день. Есть текстовый файл с 1 миллионов строк формата логин:пароль.
Скрипт с ним работает в многопотоке на http запросах. После удачного использования удаляет, то есть на ресурсе стоит записать, а так же удачные результаты записывает в новый текстовый файл. Каждая удача перезапускает поток, работает не в цикле - так как работа с полным окончанием потока в разы проще (можно настроить количество удач, неудач ресурса, количество одновременных использований). Так вот когда софт работает с такими огромными файлами в 300 потоков, просто зависает - как можно эти моменты решить!? Сам скрипт идет на 5 запросов - 2 get и 3 post. Я так понимаю скрипту тяжело в многопотоке постоянно удалять удачные использованные строки с файла и записывать в новые. Что ребята можете подсказать, как оптимизировать!? Использовать БД!? Или как поступить!? Спасибо
@saifer , так ресурс или файл? В ресурс изменения сохраняются не сразу для экономии как раз, а запись в файл может тормозить. Как вариант можно попробовать успехи тоже в ресурс записывать или в глобальный список, а в конце работы список сохранить в файл. Но проще в ресурс сразу, наверное.
@Antonio Работает с файлом сразу, и записывает сразу в файл. Проблема в том что если софт на протяжение работы крашнется - к примеру - то ни 1 сохранения не будет. И как сделать что бы последний работающий поток, к примеру, сохранил список сразу весь в файл?)
И я так понимаю проблема то не в записи именно конечного результата в тестовый файЛ, А считывание строк с большого файла и удаление их после использования
@saifer said in Оптимизация работы с текстовыми файлами:
И я так понимаю проблема то не в записи именно конечного результата в тестовый файЛ, А считывание строк с большого файла и удаление их после использования
Да
Если БД не подходит, я делал так: записывал отработанные данные в файл, из изначального файла строки не удалял. Перед следующим запуском скрипта, фильтрую изначальный файл отработанным файлом и по нему работаю
