@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Зачем в кубике "прокси" эти настройки
-
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz есть случаи когда они не работают, но это не массовое явление. Максимум 1:100.
Вы к тому что проверяя сервисом ip шники 1 раз из 100 они не будут одинаковыми?
Если запрос будет с ошибкой, веб ртк будет выставлен другим.
Вопрос к @Fox и @support
Подскажите, пожалуйста, ошибку отловить возможно? Понять что запрос "отработан" с ошибкой? Ест ли смысл оборачивать в игнорирование ошибок и ловить или какие то другие решения?Не надо ничего ловить, я уже несколько раз сказал. Надо руками выставить веб ртк.
-
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz есть случаи когда они не работают, но это не массовое явление. Максимум 1:100.
Вы к тому что проверяя сервисом ip шники 1 раз из 100 они не будут одинаковыми?
Если запрос будет с ошибкой, веб ртк будет выставлен другим.
Вопрос к @Fox и @support
Подскажите, пожалуйста, ошибку отловить возможно? Понять что запрос "отработан" с ошибкой? Ест ли смысл оборачивать в игнорирование ошибок и ловить или какие то другие решения?Не надо ничего ловить, я уже несколько раз сказал. Надо руками выставить веб ртк.
Я так и делаю, Получил внешний. Подкл прокси. Настраиваю в браузере.
-
@Bigma said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz Предположим вы используете прокси со сменой айпи раз в 5 минут (что вероятно)
Обычно просто ничего не будет, страница просто не загрузиться, т.к действие прокси закончиться по таймауту.
Но я видел случаи и могу даже больше сказать, если между конечным узлом прокси есть промежуточный (обычно ip сервера продавца), то есть вероятность прокси будет установлен как сервер продавца. -
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@Bigma said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz Предположим вы используете прокси со сменой айпи раз в 5 минут (что вероятно)
Я могу даже больше сказать, если между конечным узлом прокси есть промежуточный (обычно ip сервера продавца), то есть вероятность прокси будет установлен как сервер продавца.
Если не ошибаюсь, Вы делали тесты, вероятность 0,6% вроде
-
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@Bigma said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz Предположим вы используете прокси со сменой айпи раз в 5 минут (что вероятно)
Я могу даже больше сказать, если между конечным узлом прокси есть промежуточный (обычно ip сервера продавца), то есть вероятность прокси будет установлен как сервер продавца.
Если не ошибаюсь, Вы делали тесты, вероятность 0,6% вроде
Да, я это сделал на своих только. На покупных где больше вероятности дауна прокси, это ловил чаще.
-
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@Bigma said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz Предположим вы используете прокси со сменой айпи раз в 5 минут (что вероятно)
Я могу даже больше сказать, если между конечным узлом прокси есть промежуточный (обычно ip сервера продавца), то есть вероятность прокси будет установлен как сервер продавца.
Если не ошибаюсь, Вы делали тесты, вероятность 0,6% вроде
Да, я это сделал на своих только. На покупных где больше вероятности дауна прокси, это ловил чаще.
Тема прокси и вебртк для меня больная ))
Как вы поняли, что отдается не ip прокси , а ip сервера прокси (ну вы поняли? )) -
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@Bigma said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz Предположим вы используете прокси со сменой айпи раз в 5 минут (что вероятно)
Я могу даже больше сказать, если между конечным узлом прокси есть промежуточный (обычно ip сервера продавца), то есть вероятность прокси будет установлен как сервер продавца.
Если не ошибаюсь, Вы делали тесты, вероятность 0,6% вроде
Да, я это сделал на своих только. На покупных где больше вероятности дауна прокси, это ловил чаще.
Тема прокси и вебртк для меня больная ))
Как вы поняли, что отдается не ip прокси , а ip сервера прокси (ну вы поняли? ))Зашел на сайт показывающий ip (типо whoer.net).
-
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
Тема прокси и вебртк для меня больная ))
Для меня тоже, мне понадобилось наверно чето около года, чтобы выловить и устранить все эти утечки недоразумения и то думаю может чего пропустил.
-
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@Bigma said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz Предположим вы используете прокси со сменой айпи раз в 5 минут (что вероятно)
Я могу даже больше сказать, если между конечным узлом прокси есть промежуточный (обычно ip сервера продавца), то есть вероятность прокси будет установлен как сервер продавца.
Если не ошибаюсь, Вы делали тесты, вероятность 0,6% вроде
Да, я это сделал на своих только. На покупных где больше вероятности дауна прокси, это ловил чаще.
Тема прокси и вебртк для меня больная ))
Как вы поняли, что отдается не ip прокси , а ip сервера прокси (ну вы поняли? ))Зашел на сайт показывающий ip (типо whoer.net).
Так это понятно. Я могу и запросами через get, в цикле тыщу раз сделать.
ip сервера прокси имеет какую то особую маску? я просто не понимаю. -
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@Bigma said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz Предположим вы используете прокси со сменой айпи раз в 5 минут (что вероятно)
Я могу даже больше сказать, если между конечным узлом прокси есть промежуточный (обычно ip сервера продавца), то есть вероятность прокси будет установлен как сервер продавца.
Если не ошибаюсь, Вы делали тесты, вероятность 0,6% вроде
Да, я это сделал на своих только. На покупных где больше вероятности дауна прокси, это ловил чаще.
Тема прокси и вебртк для меня больная ))
Как вы поняли, что отдается не ip прокси , а ip сервера прокси (ну вы поняли? ))Зашел на сайт показывающий ip (типо whoer.net).
Так это понятно. Я могу и запросами через get, в цикле тыщу раз сделать.
ip сервера прокси имеет какую то особую маску? я просто не понимаю.Речь идет о действие прокси для браузера.
ip сервера не имеет никаких масок. Оно выдаеться при покупке в магазине в текстовике, либо если прокси свои то получении провайдерского, типо 172.189.187.1:100. А за ним уже другой реальный ip конечного узла. -
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@Bigma said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz Предположим вы используете прокси со сменой айпи раз в 5 минут (что вероятно)
Обычно просто ничего не будет, страница просто не загрузиться, т.к действие прокси закончиться по таймауту.
Ну у меня такая стата, ip на прокси сменилось, страница загрузится, если прокся конечно не отвалилась
-
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@Bigma said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz Предположим вы используете прокси со сменой айпи раз в 5 минут (что вероятно)
Обычно просто ничего не будет, страница просто не загрузиться, т.к действие прокси закончиться по таймауту.
Ну у меня такая стата, ip на прокси сменилось, страница загрузится, если прокся конечно не отвалилась
И такое возможно.
-
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
Речь идет о действие прокси для браузера.
ip сервера не имеет никаких масок. Оно выдаеться при покупке в магазине в текстовике, либо если прокси свои то получении провайдерского, типо 172.189.187.1:100. А за ним уже другой реальный ip конечного узла.вот теперь про это все предельно понятно. Ради теста запущу тыщу замеров, даже интересно. Спасибо
-
@Bigma said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz это ты концепцию не понял, тебе не обязательно выдавать айпи соответствующий твоему внешнему, достаточно указать что ты за натом и у тебя есть локальный. Тем более для твоих целей.
Не удалось мне смоделировать с натом ситуацию, в которой бы в поле Public Ip было пусто (нули).
-
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@Bigma
Вы меня простите, но вот нашел я роутер, воткнул в него юсб модем, и -
ВебРтк Public ip = внешний ip- появился Local ip 10.0....
так или иначе нужно отдавать что то в ВебРтк Public ip
-
