@NotWegant есть старая версия сайта. old.reddit.com Там другие запросы используются и в общем плане она проще. Но я использую для своих задач обе версии. Почему то обычная лояльнее относится в некоторых моментах. В некоторых проще old.
Прокси чекер на запросах к pixelscan.net
-
Чекер на запросах для предварительного отбора нормальных прокси с кучи мусора.
Обращается к API pixelscan.net и на базе ответа делает вывод о прокси и проводит сортировку соответственно.
По окончанию вы получитие два файла:- Просто отобраные хорошие прокси .csv
- Основные данные прокси (Прокси, IP, Страна, Город, Тип прокси) .csv
Скорость работы : быстро ( регулируем потоками, в 250 потоков 100к строк за полчаса).
демонстрация, организован плавный запуск потоков чтобы бас падал режеДоработка/Модернизация с вашей стороны: приветствуется.
Доработка/Модернизация с моей стороны: не планируется.P.S Чекер - хорошо, когда есть что чекать, а когда и нету что то и чекера не надо, так что если у ваших закромах есть то что поможет искать прокси, чтобы потом проверять было бы круто чтобы вы поделились.
-
Кстати по теме проверки прокси, нужно иметь ввиду, что большое число потоков может загрузить сеть и даже рабочие прокси буду не рабочими. Например у меня мой чекер на одном сервере в 2000 потоков нормально работал, потом перенес его на отдельный недорогой и там он только в 100 потоков работает, если ставить больше то часть прокси в невалид по таймауту идет.
-
тайм вейты надо смотреть, ну это если проц вывозит. Хотя странно, по идеи впски все плюс минус одинаковыми должны быть по сетевому стеку ...
-
@mister40mrdoors said in Прокси чекер на запросах к pixelscan.net:
тайм вейты надо смотреть, ну это если проц вывозит. Хотя странно, по идеи впски все плюс минус одинаковыми должны быть по сетевому стеку ...
У меня не на бас чекер, там нагрузка на процессор и память минимальная, не вывозит именно сеть, vps за 100 руб, я ее брал именно под чекер, он у меня каждый час проверяет прокси и отдает их по запросу + фильтры по гео и тп )
-
https://learn.microsoft.com/en-us/sysinternals/downloads/tcpview
поставь глянь насколько сеть забита ... -
@mister40mrdoors у меня linux, и я смотрел открытые сокеты, поэтому знаю что сеть
-
ups, думал речь про бас ...
-
Надеюсь, у pixelscan.net оплата провайдеру базы с проксями идет не по кол-ву запросов.
Так как оффлайновая база с неограниченным кол-вом запросов у поставщика базы стоит $8К(судя по слухам, точных цен в паблике нет) в месяц. А по кол-ву запросов сильно дешевле(веб-сервис).
-
@sergerdn said in Прокси чекер на запросах к pixelscan.net:
Так как оффлайновая база с неограниченным кол-вом запросов у поставщика базы стоит $8К(судя по слухам, точных цен в паблике нет) в месяц. А по кол-ву запросов сильно дешевле(веб-сервис).
Данные можно же кэшировать в свой базе, данные проксей крайне редко меняются
-
@UserTrue said in Прокси чекер на запросах к pixelscan.net:
Данные можно же кэшировать в свой базе, данные проксей крайне редко меняются
Конечно, я так и делаю. Но вот только делает ли так pixelscan.net. Вероятно, начнет делать, если еще не сделал😄
-
@sergerdn если его это начнет напрягать воткнет капчу и все на этом )
-
-
У vps канал на внешку может быть 100 Мбит, 1000 Мбит и даже 2500 видел. У каждого канала свои лимиты TCP, само собой у гигабитного это число выше.
Ещё есть такой момент, часто в пакетах "World Mix" прокси 70% гео из Азии. Так вот если чекать на серваке из Азии и на серваке из Германии чудным образом колличество живых и медленных прокси будет меньше на серваке из Азии.
-
@FastSpace said in Прокси чекер на запросах к pixelscan.net:
Ещё есть такой момент, часто в пакетах "World Mix" прокси 70% гео из Азии. Так вот если чекать на серваке из Азии и на серваке из Германии чудным образом колличество живых и медленных прокси будет меньше на серваке из Азии.
Да, такой момент тоже есть )
