@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Можно ли запретить переадресацию в гет запросе?
-
Есть ли способ запретить переадресацию с aliexpress.com на ru.aliexpress.com, не заходя на сайт через браузер баса и не сохраняя куки вручную в гет запрос?
0_1539856936712_get.xml -
-
-
-
@xclsv said in Можно ли запретить переадресацию в гет запросе?:
Вы пробовали это в браузере делать?
В браузере все работает. Просто мне интересно можно ли это только на гет запросах сделать.
@uraabk said in Можно ли запретить переадресацию в гет запросе?:
сокеты там нужны и не будет переадресации
Покажите пример как на сокетах убрать переадресацию.
-
@senerg said in Можно ли запретить переадресацию в гет запросе?:
В браузере все работает.
В браузере(инкогнито без проксей) происходит переадресация. Запрос на aliexpress.com также отдает ответ 302 с переадресацией на ru.aliexpress.com
Когда вы ставите галочку Следовать переадресациям в get-запросе происходит то же самое. -
@uraabk said in Можно ли запретить переадресацию в гет запросе?:
100500 раз уже было... в этой теме скрипт есть
Скрипт ваш уже 100500 раз видели.
Вопрос в теме звучал так:
@senerg said in Можно ли запретить переадресацию в гет запросе?:
Есть ли способ запретить переадресацию с aliexpress.com на ru.aliexpress.com, не заходя на сайт через браузер баса и не сохраняя куки вручную в гет запрос?
-
-
@senerg said in Можно ли запретить переадресацию в гет запросе?:
@xclsv said in Можно ли запретить переадресацию в гет запросе?:
Ответ на этот вопрос уже был. Убираем галочку следовать переадресациям
И получим пустой ответ.
Конечно пустой. Если сервер отдает код переадресации ответ не может быть непустым.
-
@senerg вы издеваетесь что ли?
Ваш вопрос:
@senerg said in Можно ли запретить переадресацию в гет запросе?:
Покажите пример как на сокетах убрать переадресацию.
Мой ответ:
@uraabk said in Можно ли запретить переадресацию в гет запросе?:
100500 раз уже было... в этой теме скрипт есть https://community.bablosoft.com/topic/5386/как-в-get-запросе-указать-язык-сайта/10
-
-
@senerg said in Можно ли запретить переадресацию в гет запросе?:
@fox , может вы знаете? Это был ваш пример скрипта в первом посте этой темы.
Я то знаю
:D, но вы неправильно сформировали вопрос, вам не нужно запрещать переадресацию, вам нужно загрузить английскую версию сайта aliexpress.com. Сделать это с ru ip-адреса можно лишь установив в куки нужный параметр. Обойтись можно малой кровью, установив в запросе заголовок:Cookie: xman_us_f=x_locale=en_US&x_l=0; aep_usuc_f=site=glo&c_tp=RUB®ion=RU&b_locale=en_US
Вот тестовый скрипт -
А как вы определили, что именно эти параметры необходимо оставлять?
Я открыл фидлер, посмотрел какие куки сохраняются для перехода на английскую версию сайта, тупо скопировал в BAS - прокатило. Затем убрал всё, что не содержит внешних признаков английской страницы. Либо можно было по очереди убирать все элементы и смотреть какие в итоге необходимы.
И почему переадресацию оставили?
А смысл её убирать? Отправляешь запрос на сервер, сервер возвращает 302 статус и заголовок Location с новым url для перехода. При этом содержание ответа пустое. Другими словами, отключение переадресации в данном случае ни как не поможет.
