@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Зачем в кубике "прокси" эти настройки
-
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@Bigma said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz Предположим вы используете прокси со сменой айпи раз в 5 минут (что вероятно)
Обычно просто ничего не будет, страница просто не загрузиться, т.к действие прокси закончиться по таймауту.
Ну у меня такая стата, ip на прокси сменилось, страница загрузится, если прокся конечно не отвалилась
И такое возможно.
-
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
Речь идет о действие прокси для браузера.
ip сервера не имеет никаких масок. Оно выдаеться при покупке в магазине в текстовике, либо если прокси свои то получении провайдерского, типо 172.189.187.1:100. А за ним уже другой реальный ip конечного узла.вот теперь про это все предельно понятно. Ради теста запущу тыщу замеров, даже интересно. Спасибо
-
@Bigma said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz это ты концепцию не понял, тебе не обязательно выдавать айпи соответствующий твоему внешнему, достаточно указать что ты за натом и у тебя есть локальный. Тем более для твоих целей.
Не удалось мне смоделировать с натом ситуацию, в которой бы в поле Public Ip было пусто (нули).
-
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@Bigma
Вы меня простите, но вот нашел я роутер, воткнул в него юсб модем, и -
ВебРтк Public ip = внешний ip- появился Local ip 10.0....
так или иначе нужно отдавать что то в ВебРтк Public ip
-
-
Удивило
У мобильного оператора ограниченное кол-во внешних ip... А пользователей дохренища. Как они не могут повторяться и уникальны = не понятно. Нонсенс.
Не знаю, мне сложно понять что там написано, факт что внешний ip тоже отдается в Вебртс (при подключении в роутер модема) на лицо. -
-
-
@Bigma said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz а как ты нат настраивал на роутере ? или ты его вообще не настраивал ?
Я исхожу из того, что у обычного юзера без каких либо доп настроек.
И я получил, что внешний ip аналогично фиксится в ВЕБРТС.Насколько я помню, речь была о том, что если симитировать юзера, у которого через роутер раздается моб инет, то не надо запариваться с подменой Public Ip в вебртс, а достаточно отдать локаль ...
Но это не так, по крайней мере из того что я увидел.
От сюда, варианты,- сокращать сессию до 1-2 минут, тогда точно ( с высокой вероятностью) не погоришь на смене ip и не смене его в вебртс
- брать приват
- вместо 5 приват, купить 100+ статичных
Но как получить то, что получили Вы я не понял. Public Ip во всех моих комбинациях Тестов - светится, а значит его нужно указывать, а не игнорировать
И главное, вчера это я перевел как "достаточно указать что ты за ноутом"
достаточно указать что ты за натом
Теперь я примерно понимаю что это, спасибо Вам за статью, но я думаю, что если я буду все профиля в гугл гнать "за натом" это палево палев
-
@kuzkuz Обычный пользователь может быть необычным :) Большинство ведь вообще не из дома выходят, а с работы, а на работе как бы более профессионально все настроено и локальных пользователей не видно.
В целом если есть паранойя на этот счет, то лучше всего свои поднять и реконектить, после отработки шаблона. -
@Bigma said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz Обычный пользователь может быть необычным :) Большинство ведь вообще не из дома выходят, а с работы, а на работе как бы более профессионально все настроено и локальных пользователей не видно.
Ну вот я могу симитировать то о чем вы пишете, потому что знаний не хватает. Нужно твердо поверить что нету в ответе по Вебртс Public-а, а только локал? И главное - почему у них внешний мобильный, если с работы выходят... от куда он там
В целом если есть паранойя на этот счет, то лучше всего свои поднять и реконектить, после отработки шаблона.
Я не понимаю почему так, а не - купить, со сменой по запросу (по ссылке) и не понимаю как это привязано к вопросу выше [или никак не привязано,, это просто вариант когда не нужно будет со всем этим гимор устраивать]. Паранои нет
-
@kuzkuz Для юр лиц часто инет по проводу, стоит неоправданно дорого. Поэтому частенько его заменяют на мобильный. В торговых центрах например может раздаваться именно мобильный с ретрансляцией. В кафе, отелях и так далее.
не понимаю как это привязано к вопросу выше
Да как вариант, чтобы спасть спокойно.
-
@BigmaНе понял только они за NAT-ом нас подключают постоянно, или это про случаи когда интернет тянут в дом (т.е. случай роутера и модема) или может вообще провода какие то. Просто интересно.
Если все время, то тогда о какой локалке речь выше, если в реальном ноуте с модемом её нет (нули). Вообщем на самом деле понять кто что куда отдает и в каких случаях дело не простое.
-
@kuzkuz херней страдаешь, кучу раз уже писал. В разделе public IP не должно быть нулей. Локальные ip это адреса какого-либо промежуточного оборудования, обычно это от роутера. Вот я шас сижу через вифи с телефона и в локалке у меня 192.168.0.2, у ноутбука 0.1 и у телика 0.3. Все строго но номеру устройства подключеного к роутеру. У меня тоже была идея некоторым ботам локалку эмулировать, но потом я понял что в этом смысла почти 0.
-
-
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
В разделе public IP не должно быть нулей.
Само собой, это кто же такое сделает )
Я только про моб ip говорю... это не тот случай
Вот я шас сижу через вифи с телефона и в локалке у меня 192.168.0.2, у ноутбука 0.1 и у телика 0.3.
https://www.youtube.com/watch?v=5PXNwhE6rnA&t=19s
Вот видео все объяснит.Итак что имеем:
1)Соединение напрямую без роутера через домашнего провайдера - WebRtc пустой совсем. Publiс ip и локальный = N/A.
2)Соединение через домашнего провайдера с роутером в ПК версии хроме. Publiс ip = реальный IP. Локалка = N/A. В пк версии хроме по умолчанию локальный ip скрыт.
3)Соединение через домашнего провайдера с роутером в мобильной версии Chrome - Publiс ip = реальный IP. Локалка = Локальный адрес роутера. В мобильной версии по умолчанию локальный ip не скрыто.
Пункт 3 этой мой случай был, который я выше описал:Вот я шас сижу через вифи с телефона и в локалке у меня 192.168.0.2
4)Соединение с мобильного Chrome через мобильный интернет 4g - Publiс ip = реальный IP. Локалка = локальный адрес роутера у вышки к которой ты подключился. Это и есть тот самый "серый" ip адрес, желательно думаю его подменять, хер его знает какие настройки и какой пул этих серых адресов по дефолту у твоей вышки. У теле2 словил адрес локальный 10.68.xx.xx.
5)Соединение через модем напрямую в версии хроме ПК. - пункт номер 2. Publiс ip = реальный IP. Локалка = N/A
6)Соединение через модем, который в роутере в версии хроме ПК. Тоже пункт номер два.
7,8.9
Есть еще много разных способов выхода в интернет. В общем нужно подстраиватся под дефолтные значения того типа соединения и устройства который ты эмулируешь.
