@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Нужна помощь в освоении http запросов.
-
Привет. Нужна помощь.
Со своей стороны спалю пару реальных тем по заработку и правильных партнерок (не тоаварка)).
Я давно в теме, раньше работал с зенноботами, брал под заказ.
Теперь взялся пилить их под себя сам.
Зарабатываю не на продаже скриптов (шаблонов) , в этом я никому не конкурент, если что.
Все освоил, но через запросы пока тяжело. Ищу наставника. -
-
-
смотри стрим DrPrime https://www.youtube.com/watch?v=fC97DG2MHQM
-
@zarabotno said in Нужна помощь в освоении http запросов.:
@xclsv вытаскивать все скрипты которые на странице и как-то их запускать?
Пример какой-то можешь дать ?
Следует понимать, что отследить работу яваскриптов на странице напрямую невозможно.
Как правило, сервер думает, что яваскрипт сработал в том случае, если принимает post-запрос с данными, которые возможно получить только в результате работы блока с яваскриптом.
Сам блок с яваскриптом можно обработать через Выполнить код.
Иногда решить эту задачу не удаётся.
Когда-то пытался решить амбициозную задачу по написанию авторегистратора gmail на запросах. Там отправлялось множество запросов с кучей непонятных данных. Все данные не просматривались на странице. Код был хорошо обфусцирован. Можно потратить недели на поиск решения задачи, а можно просто написать более-менее надежный скрипт на браузере, что я и сделал =) -
@xclsv солидарен, нынче время get post уже заканчивается для ботов сервисы все более жестче устраивают фрод, фингер и сделан для этого чтобы косить под чела чтобы под чела косить на запросах кони двинешь все это настраивать, настроишь все четко а потом тебя мило попросят пройти в бан, прижде чем ты побреешь бороду которая у тебя отросла за время создания твоего мега пост гет бота, под серьезные проекты не отделаться запросами, под парсинг чек только годно, я сам много писал на запросах сейчас отхожу к браузеру.
скорость не равна качеству, не гонитесь за скоростью пацаны -
@Alexx said in Нужна помощь в освоении http запросов.:
@xclsv солидарен, нынче время get post уже заканчивается для ботов сервисы все более жестче устраивают фрод, фингер и сделан для этого чтобы косить под чела чтобы под чела косить на запросах кони двинешь все это настраивать, настроишь все четко а потом тебя мило попросят пройти в бан, прижде чем ты побреешь бороду которая у тебя отросла за время создания твоего мега пост гет бота, под серьезные проекты не отделаться запросами, под парсинг чек только годно, я сам много писал на запросах сейчас отхожу к браузеру.
скорость не равна качеству, не гонитесь за скоростью пацаныВсё верно. Для крупных сайтов. Мелкие часто ничего не обфусцируют и не прячут.
Недавно писал парсер для директа. Подсунул куки и спокойно спарсил из кода нужные данные. Из выдачи яндекса всё также. Даже юзер-агент не проверяется. Не говоря уж о других параметрах.
Для защиты сервера от левых запросов нужно норм сайт перелопатить. Далеко не каждый возьмётся. Ко всему прочему на запросах шаблоны куда надежнее работают. Так что на запросах писать таки нужно. Но без фанатизма. К примеру, когда не хватает мощности сервера или когда скрипт на браузере слишком уж нестабильно работает.
