@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Работа со строками в разных txt файлах?
-
Здравствуйте!
У меня есть 100 текстовых документов, в каждом из которых много строк (ссылок).
Нужно перебирать ссылки в порядке очереди. Как работать с 1 текстовым файлом - понятно.
Но вопрос - если я хочу запустить процесс сразу с 10 файлами (или даже 100) - то как это сделать? чтобы сначала использовался 1 файл txt - И там обработались все ссылки, потом второй, третий и т.п. ? Это возможно я так понимаю, но как? Что нужно использовать? Ккакую переменную вообще для этого надо использовать? -
-
-
@bbb1717 said in Работа со строками в разных txt файлах?:
просто хотелось бы, чтобы файлы брало по очереди - т.е. чтобы сначала 1 файл, потом 2 файл и т.д. ... не знаю может как это сделать еще?
Циклом и перебирайте
-
@fox said in Работа со строками в разных txt файлах?:
@bbb1717 said in Работа со строками в разных txt файлах?:
просто хотелось бы, чтобы файлы брало по очереди - т.е. чтобы сначала 1 файл, потом 2 файл и т.д. ... не знаю может как это сделать еще?
Циклом и перебирайте
Но там я беру 1 файл - а потом идет какая-то ерунда - он вместо того чтобы брать 1 строку с файла - берет и выводит на экран все строки... не знаю как объяснить эт одаже... но не совсем то что хотелось бы(
-
@brotok said in Работа со строками в разных txt файлах?:
@fox said in Работа со строками в разных txt файлах?:
@bbb1717 said in Работа со строками в разных txt файлах?:
просто хотелось бы, чтобы файлы брало по очереди - т.е. чтобы сначала 1 файл, потом 2 файл и т.д. ... не знаю может как это сделать еще?
Циклом и перебирайте
Но там я беру 1 файл - а потом идет какая-то ерунда - он вместо того чтобы брать 1 строку с файла - берет и выводит на экран все строки... не знаю как объяснить эт одаже... но не совсем то что хотелось бы(
Чем чётче сформулирован вопрос или поставлена задача, тем быстрее вы получите ответ.
-
@fox said in Работа со строками в разных txt файлах?:
@brotok said in Работа со строками в разных txt файлах?:
@fox said in Работа со строками в разных txt файлах?:
@bbb1717 said in Работа со строками в разных txt файлах?:
просто хотелось бы, чтобы файлы брало по очереди - т.е. чтобы сначала 1 файл, потом 2 файл и т.д. ... не знаю может как это сделать еще?
Циклом и перебирайте
Но там я беру 1 файл - а потом идет какая-то ерунда - он вместо того чтобы брать 1 строку с файла - берет и выводит на экран все строки... не знаю как объяснить эт одаже... но не совсем то что хотелось бы(
Чем чётче сформулирован вопрос или поставлена задача, тем быстрее вы получите ответ.
Мои действия:
- Раньше я добавил переменную "Из файла" - сейчас "файлы из папки" - тут правильно?
- Дальше я делал так - устанавливал в начале скрипта переменную - и брал ее "Из файла" - и оно работало и обрабатывало все ссылки.
2.1. - сейчас я делаю тоже самое что в пункте №2 - как раньше - устанавливаю переменную - и там прописываю из папки получается - отмечаю галочку "не использовать повторно значения" - и все. дальше уже идет ошибка...
скажите, где я тут ошибаюсь? как мне заставить BAS брать не все строки файла одновременно, а по отдельности как при использовании ресурса "из файла"?
