@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Капча yandex при вводе запроса в поисковой системе
-
День добрый! Столкнулся буквально вчера с проблемой - лезет жесточайшая капча на yandex - при создании нового профиля - отпечатки с FingerprintSwitcher (куплена лицензия) - до этого такой проблемы не было (отпечатки брал с параметрами Mobile | Android | Chrome - версия браузера 107 - как у текущей версии Chrome на BAS) - прокси мобильные - даже намека на капчу не было. Что с этим делать?
-
@banklerk Android браузер там не похож на Android вообще ни разу. Если бы ты знал сколько там палится, утекает и фейка...
Нет смысла прятатся за 107 потому что движок 107. Захотят задетектить, легко сделают при стольких утечках. А так только на срез по биг дате попадешьВот солью одно, чтобы не быть голословным.
Window Controls Overlay API - это свойство есть только у desktop платформы, но в BAS оно есть и мобилы. Всё 1 чек через JS - бот - бан.
Странно, что яндекс так долго тянется -
@FastSpace said in Капча yandex при вводе запроса в поисковой системе:
@banklerk Android браузер там не похож на Android вообще ни разу. Если бы ты знал сколько там палится, утекает и фейка...
Нет смысла прятатся за 107 потому что движок 107. Захотят задетектить, легко сделают при стольких утечках. А так только на срез по биг дате попадешьВот солью одно, чтобы не быть голословным.
Window Controls Overlay API - это свойство есть только у desktop платформы, но в BAS оно есть и мобилы. Всё 1 чек через JS - бот - бан.
Странно, что яндекс так долго тянетсяУдалить конкретно это свойство можно с помощью действия "Выполнять при каждой загрузке страницы в браузере" с кодом:
;(function(){ Object.defineProperty(window.navigator, 'windowControlsOverlay',{ configurable: true, get: function(){return undefined}, set: function(){return undefined} }); })(); -
-
@FastSpace said in Капча yandex при вводе запроса в поисковой системе:
@Fox а остальные 100+ утечек тоже пофиксешь?
Можно ссылку на тему с этими утечками?
-
@Ajshma said in Капча yandex при вводе запроса в поисковой системе:
На реальных браузерах тоже самое. "Утечки" тут не при чем.
С каких пор ? Реальный браузер сует капчи только в 2 случаях, либо впн включил, либо оператор выдал прокси с которого кто то спамил.
В остальных случаях с реальных браузеров никогда в поиске капчи не выдает.
-
@Fox said in Капча yandex при вводе запроса в поисковой системе:
@FastSpace said in Капча yandex при вводе запроса в поисковой системе:
@Fox а остальные 100+ утечек тоже пофиксешь?
Можно ссылку на тему с этими утечками?
Есть смысл чтоле, кто фиксит то будет? Разработчик на которого каждый день бомбы летят?
Там у него итак на почте лежит уже пачка такая большая, что утекает и палится. С каждым новым хромом там всё больше и больше этот маховик. -
@FastSpace said in Капча yandex при вводе запроса в поисковой системе:
@Fox said in Капча yandex при вводе запроса в поисковой системе:
@FastSpace said in Капча yandex при вводе запроса в поисковой системе:
@Fox а остальные 100+ утечек тоже пофиксешь?
Можно ссылку на тему с этими утечками?
Есть смысл чтоле, кто фиксит то будет? Разработчик на которого каждый день бомбы летят?
Там у него итак на почте лежит уже пачка такая большая, что утекает и палится. С каждым новым хромом там всё больше и больше этот маховик.Всё как обычно, а я думал вы изменились:
- @Fox а остальные 100+ утечек тоже пофиксешь?
- Можно ссылку на тему с этими утечками?
- Есть смысл чтоле, кто фиксит то будет?
-
@Fox said in Капча yandex при вводе запроса в поисковой системе:
@FastSpace said in Капча yandex при вводе запроса в поисковой системе:
@Fox said in Капча yandex при вводе запроса в поисковой системе:
@FastSpace said in Капча yandex при вводе запроса в поисковой системе:
@Fox а остальные 100+ утечек тоже пофиксешь?
Можно ссылку на тему с этими утечками?
Есть смысл чтоле, кто фиксит то будет? Разработчик на которого каждый день бомбы летят?
Там у него итак на почте лежит уже пачка такая большая, что утекает и палится. С каждым новым хромом там всё больше и больше этот маховик.Всё как обычно, а я думал вы изменились:
- @Fox а остальные 100+ утечек тоже пофиксешь?
- Можно ссылку на тему с этими утечками?
- Есть смысл чтоле, кто фиксит то будет?
Если ты конкретно хочешь написать большой JS костыль, то я не против могу поделится в личку.
А так если просто поглазеть какой ужас творится в BAS. Тогда нет, я итак об этом знаю. -
-
Если указать устройство яндекс браузер - открывается страница и после нажатия на кнопку "я не робот" в 70-80% открывается поисковая выдача, без ввода самой капчи.
-
@hypeexpert said in Капча yandex при вводе запроса в поисковой системе:
Если указать устройство яндекс браузер - открывается страница и после нажатия на кнопку "я не робот" в 70-80% открывается поисковая выдача, без ввода самой капчи.
Интересно, что яндекс свой браузер узнать не может :D Красавцы, хорошо работают.
-
Вопрос возможно тоже по теме. Ставлю гео нужного города, устанавливаю екшеном. Ставлю прокси нужного города. Прокси проверил бьется везде как надо нужного города.
Открываю первой страницей яндекс карту вижу левый город ( МСК всегда ).С чем это связано может быть ? Менял получение ипа на ip( точно не помню как называется ) в запросе приходит нужный город, но результат всегда один.
-
@easy проверить элементарно, зайдите через этот прокси через обычный браузер если снова Москва то значит по базе Яндекса этот прокси из Москвы и ему глубоко все равно какой это город по другим базам. Кстати у Яндекса для ip из РФ самая точная база по моим наблюдениям
