@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Функция HTTP КЛИЕНТ ПРОКСИ и Прокси в чём разница ?
-
-
-
@freeliman said in Функция HTTP КЛИЕНТ ПРОКСИ и Прокси в чём разница ?:
Ну это я понял, а в чём разница ? Клиента и Браузера ?
Для браузера и хттп клиента прокси устанавливаются раздельно в зависимости от того, как именно пишется скрипт - на запросах или на браузере.
2 функции вместо одной созданы по причине механизма работы прокси в обоих случаях, а также для экономии ресурсов можностей железа. Браузерный механизм, вероятно, задействует браузерные функции хрома и, наверняка, потребляет больше ресурсов, чем механизм для хттп-клиента. В то же время очевидно, что механизм для хттп-клиента не установит прокси для браузерного скрипта, т.к. не задействует необходимых функций браузера. -
@freeliman said in Функция HTTP КЛИЕНТ ПРОКСИ и Прокси в чём разница ?:
Ну это я понял, а в чём разница ? Клиента и Браузера ?
Через http клиент пишем боты на post/get запросах не используя браузер.
Через браузер пишем браузерные боты.
Для http клиента отдельно ставим прокси.
Для браузера отдельно ставим прокси.
-
-
@freeliman said in Функция HTTP КЛИЕНТ ПРОКСИ и Прокси в чём разница ?:
Дайте пожалуйста хоть один образец гет пост запросов. К примеру авторизацию в ВК или почты какой нибудь. Очень хочу попробовать это дело и изучить...
Изучать это дело лучше с API какого то сервиса. Например ВК https://vk.com/dev/methods
Если осилите, тогда можно уже снифать траф, например через HTTP Analyzer или Fidler, ловить запросы и подставлять в свой софт. Но там будет не так все просто, так как стоят разные js защиты от ботов на запросах) -
@freeliman
Очень поможет понимание того, что такое get и post запросы. Как они да и вообще интернет работает. Ещё особо никуда не деваться без начальных знаний html. Очень поможет знание регулярных выражений и xpath.
По сути открытие любой страницы в браузере - запрос. Кликнул мышью в поисковике - браузер послал запрос к серверу, где лежит искомый сайт. Сайт послал в ответ кучу кода, который твой браузер преобразует в картинку, используя мощности твоего компьютера. Нередко запросы происходят и без участия пользователя.
Лично мне помог стрим от @DrPrime. Очень много оттуда почерпал по пост гетам.
