@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Нужен совет (парсер инстаграма) - проблема с файлами, в которых хранятся ссылки + циклы...
-
Здравствуйте, уважаемые!
Хочу написать простенький парсер для инстаграма.Что я хочу сделать?
- у меня есть файл txt, в нем допустим 1000 ссылок на профили инстаграм.
- из этих профилей например 100 несуществующих страниц и 200 - скрытых профилей.
- парсер должен считывать ссылки с файла, проверять, чтобы страница существовала и была открыта (это я реализую через "проверить существование") и циклы... (пока еще в этом не особо разобрался.
Вопросы собственно в том - какие циклы тут лучше использовать?
и еще главный вопрос - можно ли удалить ненужные страницы из исходного файла? или как вообще сохранить все страницы? как мне извлечь текущий url страницы:? подскажите пожалуйста, наверняка же кто-то сталкивался с подобным... я просто раньше такого никогда не реализовывал, но уже близок к этому... -
Больше похоже на тз, а не на вопрос. Быстрее было бы самому полазить по экшенам в редакторе БАСа, чем это писать.
К тому же не вижу для чего тут нужны текущий урл и удаление из файла. Берешь строку с акком, заходишь, проверяешь, что он существует и открыт, сохраняешь в результат. Повторяешь, пока не кончатся входящие акки. -
Да, это я поставил. может конечно погорячился, но обвинять меня в том что я тут что-то требую - глупо. я прошу помощи, т.к. еще только изучаю программу.
и не понимаю например, как можно из файла - перенести информацию в переменную допустим... надо будет еще смотреть и изучать что-то новое судя по всему, т.к. тут пока помощи ждать - не вариант( -
@brotok said in Нужен совет (парсер инстаграма) - проблема с файлами, в которых хранятся ссылки + циклы...:
смотреть и изучать что-то новое судя по всему
Да, ужасно. Сочувствую. Удачи.
P.S. С такими запросами лучше сразу идти в раздел "Заказать скрипт. -
@Antonio ну чеж ты агришься то на новорегов) наоборот грамотно поставлен вопрос, не приходится качать скилл "Ванга" дабы узнать что нужно. Ну есть ответы в вики на эти вопросы, так дай ссылочку на нее, полезнее будет.
@brotok для начала ознакомься с https://wiki.bablosoft.com/doku.php?id=ru:start посмотри видосики на ютубе по запросу browser automation studio, поюзай поиск по форуму http://community.bablosoft.com/search?term=как удалить строки из файла&in=titlesposts&showAs=posts и если не находишь ответ - на форум -
@artihorror, это уже какой-то новый уровень, когда человек не столкнулся с проблемой при написании скрипта, а только ПЛАНИРУЕТ его писать)
-
@artihorror, автор прямо написал, что не хочет сам "смотреть и изучать что-то новое". Не попробовал даже начать писать скрипт. При чем здесь поиск слабых мест и планирование?) Если тебе нравится работать поиском по сайту - ок. Но это плохая тенденция и не хотелось бы, чтобы на форуме плодились темы из двух сообщений: банальный вопрос, а в ответе ссылка на одни и те же статьи в хелпе.
К тому же здесь сразу куча базовых вопросов, а не один какой-то. Это просто лень. -
@Antonio said in Нужен совет (парсер инстаграма) - проблема с файлами, в которых хранятся ссылки + циклы...:
автор прямо написал, что не хочет сам "смотреть и изучать что-то новое".
понял я совсем по другому.
К тому же здесь сразу куча базовых вопросов, а не один какой-то. Это просто лень.
с этим согласен, но можно подобрать менее агрессивные высказывания
