Отдельная многопоточная функция в скрипте



  • Всем доброго дня! Написал скрипт "А" он парсит прокси с нескольких сайтов, работает в один поток. Дальше решил дописать чекер валидных прокси в этом же скрипте отдельной функцией "Б". Раньше пользовался сторонним сервисом чека, но потом узнал про https://bablosoft.com/ip решил написать многопоточную функцию "В" на http запросах. По итогу в основном скрипте создается новый ресурс в него добавляются нечекнутые прокси(это стадия отрабатывает четко). Дальше в функцие "В" перебираю ресурс в 10 потоков и по результату статуса http ответа хочу записывать в файл. Проблемы и вопросы такие:

    • Как правильнее будет записывать чекнутые прокси в файл? Записывать сразу в файл ресурс из каждого потока или создать отдельный ресурс или список?
    • Пробовал просто вывести в лог ресурс в многопотоке в функции "В", выводит все айпи, но при этом только в одном потоке. Почему так? Потому что нагрузки вывести в лог 50 айпи хватает для 1 потока?
    • Хочу дописать ресурс(чекбокс) на выбор сайтов для парсинга(за каждый сайт отвечает отдельная функция), т.е. возможно ли включить\отключить выполнение функций ресурсом до старта скрипта?
    • Я тестирую на кол-ве айпи 50 штук. Если их будет 5к корректно ли сайт https://bablosoft.com/ip отнесется к такому кол-ву запросов?

  • administrators

    @j0hnyb said in Отдельная многопоточная функция в скрипте:

    по результату статуса http ответа хочу записывать в файл

    Я так полагаю по статусу ответа 200? Такая проверка не всегда будет корректна, так как такой статус будет даже на странице авторизации прокси.

    @j0hnyb said in Отдельная многопоточная функция в скрипте:

    Как правильнее будет записывать чекнутые прокси в файл? Записывать сразу в файл ресурс из каждого потока или создать отдельный ресурс или список?

    Используйте ресурс "из файла" с галочкой запись и записывайте все потоки в этот ресурс.

    @j0hnyb said in Отдельная многопоточная функция в скрипте:

    Пробовал просто вывести в лог ресурс в многопотоке в функции "В", выводит все айпи, но при этом только в одном потоке. Почему так? Потому что нагрузки вывести в лог 50 айпи хватает для 1 потока?

    Понятия не имею, как написали логику, так и работает.

    @j0hnyb said in Отдельная многопоточная функция в скрипте:

    Хочу дописать ресурс(чекбокс) на выбор сайтов для парсинга(за каждый сайт отвечает отдельная функция), т.е. возможно ли включить\отключить выполнение функций ресурсом до старта скрипта?

    Установите условие выполнения функций, в зависимости от данных чекбокса.

    @j0hnyb said in Отдельная многопоточная функция в скрипте:

    Я тестирую на кол-ве айпи 50 штук. Если их будет 5к корректно ли сайт https://bablosoft.com/ip отнесется к такому кол-ву запросов?

    Смысла не вижу тестить на https://bablosoft.com/ip бесплатные прокси. Часть прокси, которые могут работать с https://bablosoft.com/ip могут не работать с целевым сайтом, и наоборот - на целевой сайт через эти прокси зайти можно, а вот на https://bablosoft.com/ip не получится.



  • Такая проверка не всегда будет корректна, так как такой статус будет даже на странице авторизации прокси.

    Ну да по статусу 200 так в шпаргалке в басе написано, да и если нет ответа статус -1 приходит. Не в данном скрипте а в общем случае как корректней проверять ответ?

    Используйте ресурс "из файла" с галочкой запись и записывайте все потоки в этот ресурс.

    Просто у меня новый ресурс создавался в самом начале скрипта, а не через вкладку ресурсы там вроде никаких галочек и параметров указать нельзя(или я еще не нашел где))Окей с этим сделаю.

    Благодарю за ответы на нубские вопросы, просто хочу знать как это работает, а не просто написать чтоб работало пока не сломалось



  • @j0hnyb said in Отдельная многопоточная функция в скрипте:

    просто хочу знать как это работает, а не просто написать чтоб работало пока не сломалось

    Тогда экспериментируйте оно быстро сломается) и будет вам мануал собственного производства в голове, как и что можно.

    @j0hnyb said in Отдельная многопоточная функция в скрипте:

    там вроде никаких галочек и параметров указать нельзя

    Можно если посмотреть на него и клацнуть правой кнопкой. Там все будет. причем графически.