@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Будут какие то модернизации CANVAS в будущем?
-
Серчил видосики ютуба под вечерний кофеёк и тут бац
https://youtube.com/clip/UgkxjedOW_I5xAwdkXxR9WqKMHuVrEfn1EnX?si=NI9vskLIbb49c2GGСперва не поверил, мною была проверена капча и ах*ю моему не было предела.
Действительно на капче каждый раз этот прикол с канвасом + ещё для каждой капчи он динамический(?). Да-да то есть я снифанул один раз canvas запрос, выпала капча а там другой запрос! Было три попытки и тут или у меня руки кривые или дам динамический canvas, который меняется с каждой капчей lol(или может там десяток канвасов)Вообщем, fix вообще имеется? Какие варианты решения этой проблемы могут быть на функционале BAS-a? Или это GG и пора расчехлять python и прочие сторонние решения?
-
@Kinokio said in Будут какие то модернизации CANVAS в будущем?:
Действительно на капче каждый раз этот прикол с канвасом + ещё для каждой капчи он динамический(?). Да-да то есть я снифанул один раз canvas запрос, выпала капча а там другой запрос! Было три попытки и тут или у меня руки кривые или дам динамический canvas, который меняется с каждой капчей lol(или может там десяток канвасов)
Если «запрос PerfectCanvas» меняется при каждом посещении сайта, это означает, что сайт не сможет создать базу данных для анализа аутентичности. Таким образом, методы определения уникальности данных canvas не могут быть использованы. В этом случае добавление шума в изображение будет достаточно. Также есть вероятность, что canvas на таком сайте не используется для получения отпечатка.
https://wiki.bablosoft.com/doku.php?id=ru:perfectcanvas#может_ли_запрос_perfectcanvas_меняться_постоянно -
@Kinokio said in Будут какие то модернизации CANVAS в будущем?:
Серчил видосики ютуба под вечерний кофеёк и тут бац
https://youtube.com/clip/UgkxjedOW_I5xAwdkXxR9WqKMHuVrEfn1EnX?si=NI9vskLIbb49c2GGСперва не поверил, мною была проверена капча и ах*ю моему не было предела.
Действительно на капче каждый раз этот прикол с канвасом + ещё для каждой капчи он динамический(?). Да-да то есть я снифанул один раз canvas запрос, выпала капча а там другой запрос! Было три попытки и тут или у меня руки кривые или дам динамический canvas, который меняется с каждой капчей lol(или может там десяток канвасов)Вообщем, fix вообще имеется? Какие варианты решения этой проблемы могут быть на функционале BAS-a? Или это GG и пора расчехлять python и прочие сторонние решения?
Запрос может быть динамический, но ограниченный, который в рамках двух сессий собрать нельзя через CanvasInspector. Сиди собирай запросы по 20 раз и смотри насколько запрос динамический, там где прям ID жестко меняется все 20 из 20 раз, то такое можно не собирать. Сайт может создать базу данных например из 10 картинок.
-
-
@Kinokio said in Будут какие то модернизации CANVAS в будущем?:
@Fox а что за шум и как его добавить? В настройках браузера написано, что лучшим решением будет использование Fingerprint, но это не подходит я так полагаю.
Вы читали статью, которая описывает принцип работы технологии?
https://wiki.bablosoft.com/doku.php?id=ru:perfectcanvas -
@Fox said in Будут какие то модернизации CANVAS в будущем?:
Если «запрос PerfectCanvas» меняется при каждом посещении сайта, это означает, что сайт не сможет создать базу данных для анализа аутентичности. Таким образом, методы определения уникальности данных canvas не могут быть использованы. В этом случае добавление шума в изображение будет достаточно.
Считаю что это в корне неверное заявление. В данном случае яндекс собрал какое-то количество канвас картинок и по ним палит ботов, если отрисовка идет inconsistant.
Решение - или отрисовка в прямом эфире с фермы компов\ботнета(рекомендую посмотреть в эту сторону), или сбор всех ID всех канвасов оттуда и отрисовка их заранее и добавление себе в отпечатки что будет ПОКА работающими кое-как костылями.@Kinokio
Я пытался поднять этот вопрос, пока тихо) Может через пару лет что-то сдвинется когда массово начнут аки банить все крупные конторы) Ждемс, хули... -
@basuser123 said in Будут какие то модернизации CANVAS в будущем?:
Считаю что это в корне неверное заявление
Он написал "при каждом", то есть не ограниченно. А не "много", о чем говоришь ты.
@basuser123 said in Будут какие то модернизации CANVAS в будущем?:
Может через пару лет что-то сдвинется когда массово начнут аки банить все крупные конторы
Уже. Судя по всему мы с разными ресурсами работаем.
-
@basuser123 said in Будут какие то модернизации CANVAS в будущем?:
Я пытался поднять этот вопрос, пока тихо
Потому что все ок ) И да для требовательных ресурсов общая база мало пригодна, но на самом деле оно и к лучшему.
-
@sergerdn said in Будут какие то модернизации CANVAS в будущем?:
Уже. Судя по всему мы с разными ресурсами работаем.
да мне на половину моих даже капчей не надо решать)) просто когда меня выносит в общественный интернет тогда за голову начинаю хвататься что за херь кругом))
Может firefox использовать каким-то образом, там один канвас на всё -
@basuser123 said in Будут какие то модернизации CANVAS в будущем?:
Может firefox использовать каким-то образом, там один канвас на всё
;-)
