@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Давайте исследуем Инстаграм в FD
-
Fingerprint Detector предоставлен в бесплатное пользование всем. Грех не воспользоваться этим. Давайте превратим общение на форуме из слухов, домыслов и откровенного бреда в достойную и достоверную информацию. А то каша в голове уже.
Главные цели две:-
Облегчить успешную работу конкретно с сайтом инстаграм
-
Получить опыт работы с преодолением защиты, которые использует инстаграм
Я думаю многим полезно получить и упорядочить достоверную информацию. Новичкам будет полезно получить конкретную информацию, а не фильтровать её месяцами. Те, кто «сечёт» возможно тоже в обсуждении что-то получат. Как минимум бонус к репутации и ЧСВ)). Команде БАС тоже, наверное, полезно будет направить по верному пути пользователей и не тратить время на часто странные вопросы.
Цели:- Посмотреть какие методы идентификации использует сайт Инстаграм
- Подобрать оптимальное решение для профиля
- Получить реальные результаты регистрации и автоматизации аккаунтов
- Оценить, насколько влияют «невидимые» технологии защиты на выявление ботов
-
-
Зашел в зарегистрированный аккаунт инстаграм и побродил по страницам.
За это время нашел всего 4 типа с низким подозрением сбора отпечатков.Запрос платформы PlatformId происходит постоянно, через короткие промежутки времени. Пока не понимаю, важно ли это.
Вообще, довольно скромно всё выглядит. Может быть стоит страницу регистрации или входа посещать незалогиненным?
-
Самое простое это UserAgent
Даже если вдруг он как то и задействуется в защите сайта, то легко обходится установкой UserAgent в БАС или применением любого отпечатка из Фингерпринт. Или может быть какой-то подвох?Так выглядит код. Мне, правда, это ни о чём не говорит.
Спецификации тоже буду прикладывать для удобства.
-
PlatformId
Чуть более серьезная вещь, чем выше. Из описания я понял, что есть риск сбора отпечатков, если например параллельно с UserAgent проверяется navigator.appVersion
В инстаграм техника регулярно проверяет navigator.onLine и судя по описанию это просто проверка подключения к сети. Точно не сбор отпечатков.
-
-
@FastSpace Имеешь в виду приложение/ мобильная версия сайта/ версия сайта для десктопов?
А во время регистрации как-то фильтруют? Если тоже по "платформам", то чем отфильтровывают более подозрительные варианты поведения?Если тупо поведение, то там не слишком много вариантов. Менять в каждом потоке стиль поведения. Количество и время пауз, количество и время эмуляций бездействия, последовательности действий. Вероятности нестандартных действий, выходов с вкладки, намеренных ошибок в тексте и их удаления <backspase>-ом. Если всё это задействовать - то хорошая конверсия рег будет?
-
@IvanM said in Давайте исследуем Инстаграм в FD:
Fingerprint Detector предоставлен в бесплатное пользование всем.
Может я что - то пропустил, но разве Fingerprint Detector не покупается вместе с Fingerprint Switcher? А то что бесплатно в самом BAS просто показывает число сигнатур.
-
@spacerange Ах да, просто так давно было, что я уже забыл - бесплатная версия ограничена. Спасибо, что исправили.
-
Fonts
Иногда получение информации о шрифтах на машине пользователя может использоваться для получения отпечатка. Разработчик в видео показывает как довольно точно определить - собирает ли сайт отпечатки через Fonts.
Для инстаграм FD показывает низкий уровень угрозы. Скорее всего это просто функциональный элемент. -
Language
В описании говориться о возможности различий между ip прокси и языком браузера.
Как я понимаю, в дополнение к поведенческим факторам вполне может использоваться такая информация. Инстаграм может снижать доверие к пользователю если на российском ip используется машина без русского языка. А потом через этот профиль вводятся русские символы.
Как доказать, что действительно нет угрозы отпечатка для этого метода - я не знаю. Можно ли что-то узнать по коду - тоже не понимаю.
-
Только что попробовал регистрации через FingerprintManager. Легко зарегистрировал через отпечаток с русским языком. Затем выбрал отпечаток с английским языком и получил уведомление сразу после регистрации - "ЕСЛИ ПРОВЕРКА ВЫЯВИТ ПОДЛИННОСТЬ ВАШЕЙ ИНФОРМАЦИИ, ТО ВЫ МОЖЕТЕ ВЕРНУТСЯ В АККАУНТ В ТЕЧЕНИЕ 24 ЧАСОВ". Использовал РФ прокси, десктопную версию, вводил информацию вручную + Масс Танеллер.
Конечно мало информации и возможно с десктопной регистрации так или иначе что-то часть будет улетать в бан. Но может кто знает - настройки языка увеличивают подозрительность при регистрации?
Если так, то действительно стоит выставлять русский язык в заголовке.
Чтобы сайты воспринимали браузер русским, Установить заголовок, Имя заголовка "Accept-Language" и значение ru-ru,ru;q=0.8
источник -
-
этого мало для языка, там еще js подмена.
То есть метод NavigatorLanguage.language смотрит js?
... И учитывает его помимо UserAgent?
(Пардон, если банальные вопросы, просто некоторые описания методов довольно сжаты и понятны лишь опытным людям.)
Тогда, выходит, лучше сразу "фильтровать" отпечатки из Fingerprint, содержащие оба языка en и ru... чем потом менять в них что-либо, добавляя ru. -
@FastSpace
Парсил FP отпечатки, понял что ru отпечатков нет в базе. Поэтому придется всё менять вручную. (Здесь я ошибся. Дело в том, что ru-отпечатки по неведомой причине обрезаются)То есть, из действий нужно установить заголовок
HTTP_ACCEPT_LANGUAGE ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3 (например)И кроме этого еще два пункта на js нужно изменить
NavigatorLanguage.language ru-RU (под него сайты будут подстраивать контент)
NavigatorLanguage.languages ru-RU,ru,en-US,en (перечислить те же языки, что и в UserAgent, но уже без весов)Как сделать эти js подмены вроде объяснено тут: https://community.bablosoft.com/topic/4660/accept-language-и-window-navigator-language
Делаю:
- Открываю "HTTP-клиент" -> "Установить HTTP-заголовок" вот так
- Открываю "Браузер" -> "Выполнять при каждой загрузке страницы в браузере" вот так
Я что-то не так сделал, поскольку результат не оправдал ожиданий:
1 В заголовке вместо ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3 находится en-US,en;q=0.9
2 В определении языка вместо (ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3 | ru-RU) стоит (en-US,en;q=0.9 | ru-RU)
3 Не прописались navigator language и languages
4 f-vision вообще не определяет языкПодскажите, что не так? Как сделать правильно?
-
-
-
Может модуль подойдет, сам не юзал тк кодом правлю.
https://community.bablosoft.com/topic/9073/fingerprintswitcher-с-дополнительными-функциями?page=1 -
Блин, не мог ru отпечатки напарсить из-за плохого прокси и зарубежного сервера. Короче парсить лучше с домашней машины. Видимо БАС определяет ip и теперь подбирает отпечатки с его учётом, о чём я не предполагал.
И ещё, кажется что прокси может влиять на определение языков whoer'ом и другими чекерами. Может еще и в этом проблема. Тогда нужно использовать нормальные резидентские прокси РФ, ибо "правильные" приватные еще как-то откопать нужно. Конечно, если я правильно всё понял.
