@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Зачем в кубике "прокси" эти настройки
-
А с чего вы, собственно, взяли, что они не работают?
-
@DoctorKrolic said in Зачем в кубике "прокси" эти настройки если они не работают?:
А с чего вы, собственно, взяли, что они не работают?
Потому что у меня 2 проекта.
В одном проекте не работает, а во втором работает. Все настройки одинаковые.
Т.е. какой то рандом. Где затык не ясно -
вот на одной машине норм, на другой вебртс n/a
тесттест.xml -
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz есть случаи когда они не работают, но это не массовое явление. Максимум 1:100.
Вы к тому что проверяя сервисом ip шники 1 раз из 100 они не будут одинаковыми?
-
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz есть случаи когда они не работают, но это не массовое явление. Максимум 1:100.
Вы к тому что проверяя сервисом ip шники 1 раз из 100 они не будут одинаковыми?
Если запрос будет с ошибкой, веб ртк будет выставлен другим.
-
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
Если запрос будет с ошибкой, веб ртк будет выставлен другим.
Это да. Но я вам о случае когда вообще не пашет. Вебртс открыто, а он пишет n/a
-
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
Если запрос будет с ошибкой, веб ртк будет выставлен другим.
Это да. Но я вам о случае когда вообще не пашет. Вебртс открыто, а он пишет n/a
У меня все нормально там.
-
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz said in Зачем в кубике "прокси" эти настройки если они не работают?:
@FastSpace said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz есть случаи когда они не работают, но это не массовое явление. Максимум 1:100.
Вы к тому что проверяя сервисом ip шники 1 раз из 100 они не будут одинаковыми?
Если запрос будет с ошибкой, веб ртк будет выставлен другим.
Вопрос к @Fox и @support
Подскажите, пожалуйста, ошибку отловить возможно? Понять что запрос "отработан" с ошибкой? Ест ли смысл оборачивать в игнорирование ошибок и ловить или какие то другие решения? -
@kuzkuz Предположим вы используете прокси со сменой айпи раз в 5 минут (что вероятно)
И вот вы нарвались на ситуацию, в которой ваш прокси в дауне. При попытке опредиль внешний айпи будет n/a при попытке выставить webrtc тоже самое ...
Есть у вас какая-то статистика, что это происходит 90 из 100 ? -
@Bigma said in Зачем в кубике "прокси" эти настройки если они не работают?:
И вот вы нарвались на ситуацию, в которой ваш прокси в дауне. При попытке опредиль внешний айпи будет n/a при попытке выставить webrtc тоже самое ...
Это все понятно. Не понятно,
- почему если кубик получил n/a вообще идет выход в интернет... я думал не произойдет загрузки документа (так же как если прокси отвалилась в процессе сессии. Но вы сейчас утверждаете обратное - загрузка произойдет но под моим реальным ip).
- у меня идет чек ip помимо кубика "подключить прокси", и если ошибка (нет ответа) то цикл возвращается повторно на запрос ip.
Есть у вас какая-то статистика, что это происходит 90 из 100 ?
- как вы можете прочекать это? только руками? я не про внешний ip а про корректность выставления вебртк. и что вы будете руками загружать 100 раз чекер (whoer например) ?
-
@kuzkuz Слушай ты меня устал с этим вопросом, вы с Фоксом санта барбару разводили как установить веб ртс. Если не приватные прокси, просто ставь локальный типо 192.168........
и не парься. -
@Bigma said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz Слушай ты меня устал с этим вопросом, вы с Фоксом санта барбару разводили как установить веб ртс. Если не приватные прокси, просто ставь локальный типо 192.168........
и не парься.В данной теме нет ни одного моего сообщения
-
@Bigma said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz Слушай ты меня устал с этим вопросом, вы с Фоксом санта барбару разводили как установить веб ртс. Если не приватные прокси, просто ставь локальный типо 192.168........
и не парься.Да ты просто некорректные вещи говоришь, вот и путаешь меня.
@Bigma said in Зачем в кубике "прокси" эти настройки если они не работают?:
@kuzkuz Предположим вы используете прокси со сменой айпи раз в 5 минут (что вероятно)
И вот вы нарвались на ситуацию, в которой ваш прокси в дауне. При попытке опредиль внешний айпи будет n/a при попытке выставить webrtc тоже самое ...Ну будет и что??? Страница не загрузится. Будет эффект как будто интернет оборвался и нет его. Я что не прав??
