Bablosoft

После некоторого времени работы скрипт замедляет работу. Какие есть варианты исправить замедление?

@kalama282828 Good afternoon, I sent you a private message

Может кто то подскажет решение, кроме как перезапускать софт/пк по 2 раза в день. Проблема следующая - при длительной работе скрипта (наверное 12+ часов) начинает переполняться озу, пока не упрется в лимит и не выбьет ошибку с памятью (точно не помню формулировку). Скрипт на эмуляции, в скрипте редко перезапускаются потоки, не создаются вкладки браузера. На скрине с диспетчера задач видно, что аномально много процессов с хромиумом, там ниже их ещё раза в 3 больше (хотя софт работает в 20 потоков). Кто то шарит что подправить в скрипте? Может проблемы из-за либ node js, которые используются (на скрине). Из нестандартного возможно постоянное общение с сервером + частая загрузка файлов на сайте.

a3ffbbdd-0771-47ab-b8ff-2fc821584f20-image.png
7afbf84e-9c6d-4fc0-9add-1e13083b24da-image.png

https://community.bablosoft.com/topic/32126/fingerprintswitcher-с-поддержкой-прокси

Заодно поделитесь как работает у Вас)

Начнём с ответа на вопрос - что вообще такое ISP прокси?

ISP прокси - это прокси которые размещаются на адресах домашних или мобильных провайдеров. Из этого вытекает второй вопрос - а как вообще достать такие адреса?

Самое первое что приходит в голову - это писать провайдерам и договариваться с ними о аренде их подсетей, но тут не всё так просто. Из условных 300 провайдеров, только у одного-двух десятков будут свободные подсети, которые они могут предоставить, но готовы предоставить такие услуги только единицы, т.к прокси считается серой сферой и переубедить в обратом не является возможным. Выходит так, что на поиск провайдера в одной стране могут уйти месяцы, а иногда без связей найти кого-нибудь просто невозможно.

Из-за этого и появились фейк ISP прокси. Существует множество маркетов для сдачи своих подсетей в аренду и не редко домашние/мобильные провайдеры выставляют там свои подсети. Тут начинается самое интересное - т.к подсеть использовалась домашним провайдером по GeoIP базам, она будет биться как ISP, этим и пользуются те кто делает и продают фейк ISP прокси.

Подсеть у нас уже есть, но возникает вопрос - где её анонсировать, чтобы всё выглядело максимально правдоподобно. Решение данной проблемы максимально простое, практически все крупные домашние провайдеры предоставляют услуги датацентр хостинга. Приобретается такой сервер, на нём анонсируется подсеть от лица (ASN) домашнего провайдера и человек который не знает об этом ничего - даже не заподозрит, но GeoIP провайдеры и антифроды не дремлют.

Задетектить такую подсеть максимально просто и есть 3 основных способа.

Для проверки возьмём подсеть 45.93.186.0/23

Первый способ - geofeed провайдера
Geofeed это стандартизированный файл, в котором каждый провайдер указывает точное физическое расположение своих подсетей. Обычно у провайдеров один geofeed, но если провайдер предоставляет несколько видов услуг - домашний интернет, датацентр или бизнес, то под каждый вид услуг будет свой geofeed.
Данная подсеть анонсируется у DTAG, проверяем по их geofeed

c9266fbd-797e-4b21-ad76-6e86df86ec16-image.png

Данной подсети в geofeed нет, первый звоночек есть.

Второй способ - трассировка до адреса (traceroute/mtr)
У многих домашних провайдеров для датацентр услуг используются отдельные маски для маршрутизаторов с типом DCH и меткой router и на таких провайдерах, по последним хопам можно понять, что подсеть анонсируется в датацентре, либо если тот кто поднимал прокси неопытный и не закрыл ICMP пакеты, то можно прозвониться вплоть до сервера, который управляет подсетями. Т.к обычно сервера у провайдеров не арендуются из-за того что цены на их услуги довольно высокие, а просто пробрасывается GRE туннель от маршрутизаторов до любого другого хостинга в датацентре.
У DTAG нет отдельных масок для дц и ICMP закрыт, по этому тут ничего не было найдено

3d158a67-3be5-4e91-95e7-8ebcef9b3849-image.png

Третий способ - whois по базе регистратора подсети и GeoIP базам
Тут начинается самое интересное, в основном подсети после домашних провайдеров арендуются на IPXO, есть ещё пару других маркетплейсов, но этот самый крупный.

Посмотрев на результат из RIPE DB сразу всё становится понятно

65caa736-7d8d-4277-8759-231afbbcae84-image.png

Подсетью ранее владел SCALEIT, он же выдал права IPXO для управления подсетью - создание route object и тд. В данном случае просто был создан route object на ASN DTAG. Даже старые записи о названии сети не были подтёрты, но если были бы убраны, то это ничего бы не изменило, т.к подделать название организации которая владеет подсетью невозможно.
В данном случае это Private Customer с abuse почтой report@abuseradar.com. Abuseradar это прослойка IPXO

e60e4f8c-106e-4f4e-8ff3-f0492b208c83-image.png

Вот к примеру как должна выглядеть реальная подсеть DTAG

93d2e930-31e4-4b6d-b930-ef64327bfb88-image.png

3b818bb1-cfe4-4c99-bfe7-3403f93213b1-image.png

Результат с ip2location подтверждает, что данная подсеть и прокси на ней являются фейк ISP. Опираться только на его результаты не стоит, т.к они проводят полные проверки адресов только 2-3 раза в год и какие-то подсети могли ещё не задетектить. Если подсеть ещё не задетектили, то по ip2loc можно увидеть только максимально явные миссматчи, например - ASN DTAG, а domain ukrtelecom.ua или любого другого провайдера, сейчас urktelecom чаще всего встречается, т.к было много выброшено их подсетей на рынок.

Для полной проверки советуем воспользоваться нашим чекером, который проводит детальную проверку, если айпи анонсирован на ASN домашнего/мобильного провайдера

Есть ещё и четвёртый способ, но обычным смертным он недоступен. Существует так называемый реестр адресов домашних провайдеров, в который все домашние провайдеры подают свои адреса и он используется некоторыми антифродами.

После прочтения всего этого может возникнуть вопрос - а нельзя ли попросить провайдера чтобы он добавил адреса в geofeed или подал заявку на обновление данных?
Нет, ни один тир 1 провайдер не будет такого делать. До недавнего времени с ATT можно было договориться, но их оштрафовали за это и лавочка закрылась.

По этому если видите заголовки, что прокси имеют айпи адреса тир 1 провайдеров, в 99% случаях это будут фейк ISP. Реальные ISP можно получить только работая с тир 2-3 провайдерами, но это очень затратно по времени, либо имея связи с тир 1 провайдером, но стоить это будет обычному пользователю минимум 2.5-3$, и по этому больше половины рынка прокси заполнено фейк ISP прокси.

This is a bump