Добавил еще ведущие нули к миллисекундам, если кому-то еще когда-то этот код понадобится
log = function (text, color, define){ var id, time, thread, logHtml, textLog; define = (typeof define == 'string') ? define.split(/[\s,.|:;]+/g) : define; if(typeof define === 'object' && define !== null){ if(Array.isArray(define)){ id = define.indexOf('id') > -1; time = define.indexOf('time') > -1; thread = define.indexOf('thread') > -1; } else{ id = define.id == true; time = define.time == true; thread = define.thread == true; } } else id = time = thread = true; id = id ? '<a href="action://action' + ScriptWorker.GetCurrentAction() + '" style="color:gray;">[' + ScriptWorker.GetCurrentAction() + ']</a>' : ''; time = time ? ' ' + getTime() : ''; thread = thread ? ' Поток №' + thread_number() : ''; logHtml = (id || time || thread) ? id + '<span style="color: white">' + time + thread + ' : </span>' : ''; logHtml += '<span style="color:' + (color ? color : 'white') + '">' + text + '</span>'; textLog = '[' + ScriptWorker.GetCurrentAction() + ']' + time + thread + ' : ' + text function getTime(){ var checkTime = function(i){ return (i < 10) ? "0" + i : i; }; var checkMilliSeconds = function(ms){ if (ms < 10) { return "00" + ms; } else if (ms < 100) { return "0" + ms; } else { return ms; } }; var d = new Date(); var hh = checkTime(d.getHours()); var mm = checkTime(d.getMinutes()); var ss = checkTime(d.getSeconds()); var ms = checkMilliSeconds(d.getMilliseconds()); return '[' + hh + ':' + mm + ':' + ss + '.' + ms + ']'; }; Logger.WriteHtml(logHtml, textLog); }Отдельная многопоточная функция в скрипте
-
Всем доброго дня! Написал скрипт "А" он парсит прокси с нескольких сайтов, работает в один поток. Дальше решил дописать чекер валидных прокси в этом же скрипте отдельной функцией "Б". Раньше пользовался сторонним сервисом чека, но потом узнал про https://bablosoft.com/ip решил написать многопоточную функцию "В" на http запросах. По итогу в основном скрипте создается новый ресурс в него добавляются нечекнутые прокси(это стадия отрабатывает четко). Дальше в функцие "В" перебираю ресурс в 10 потоков и по результату статуса http ответа хочу записывать в файл. Проблемы и вопросы такие:
- Как правильнее будет записывать чекнутые прокси в файл? Записывать сразу в файл ресурс из каждого потока или создать отдельный ресурс или список?
- Пробовал просто вывести в лог ресурс в многопотоке в функции "В", выводит все айпи, но при этом только в одном потоке. Почему так? Потому что нагрузки вывести в лог 50 айпи хватает для 1 потока?
- Хочу дописать ресурс(чекбокс) на выбор сайтов для парсинга(за каждый сайт отвечает отдельная функция), т.е. возможно ли включить\отключить выполнение функций ресурсом до старта скрипта?
- Я тестирую на кол-ве айпи 50 штук. Если их будет 5к корректно ли сайт https://bablosoft.com/ip отнесется к такому кол-ву запросов?
-
@j0hnyb said in Отдельная многопоточная функция в скрипте:
по результату статуса http ответа хочу записывать в файл
Я так полагаю по статусу ответа 200? Такая проверка не всегда будет корректна, так как такой статус будет даже на странице авторизации прокси.
@j0hnyb said in Отдельная многопоточная функция в скрипте:
Как правильнее будет записывать чекнутые прокси в файл? Записывать сразу в файл ресурс из каждого потока или создать отдельный ресурс или список?
Используйте ресурс "из файла" с галочкой запись и записывайте все потоки в этот ресурс.
@j0hnyb said in Отдельная многопоточная функция в скрипте:
Пробовал просто вывести в лог ресурс в многопотоке в функции "В", выводит все айпи, но при этом только в одном потоке. Почему так? Потому что нагрузки вывести в лог 50 айпи хватает для 1 потока?
Понятия не имею, как написали логику, так и работает.
@j0hnyb said in Отдельная многопоточная функция в скрипте:
Хочу дописать ресурс(чекбокс) на выбор сайтов для парсинга(за каждый сайт отвечает отдельная функция), т.е. возможно ли включить\отключить выполнение функций ресурсом до старта скрипта?
Установите условие выполнения функций, в зависимости от данных чекбокса.
@j0hnyb said in Отдельная многопоточная функция в скрипте:
Я тестирую на кол-ве айпи 50 штук. Если их будет 5к корректно ли сайт https://bablosoft.com/ip отнесется к такому кол-ву запросов?
Смысла не вижу тестить на https://bablosoft.com/ip бесплатные прокси. Часть прокси, которые могут работать с https://bablosoft.com/ip могут не работать с целевым сайтом, и наоборот - на целевой сайт через эти прокси зайти можно, а вот на https://bablosoft.com/ip не получится.
-
Такая проверка не всегда будет корректна, так как такой статус будет даже на странице авторизации прокси.
Ну да по статусу 200 так в шпаргалке в басе написано, да и если нет ответа статус -1 приходит. Не в данном скрипте а в общем случае как корректней проверять ответ?
Используйте ресурс "из файла" с галочкой запись и записывайте все потоки в этот ресурс.
Просто у меня новый ресурс создавался в самом начале скрипта, а не через вкладку ресурсы там вроде никаких галочек и параметров указать нельзя(или я еще не нашел где))Окей с этим сделаю.
Благодарю за ответы на нубские вопросы, просто хочу знать как это работает, а не просто написать чтоб работало пока не сломалось
-
@j0hnyb said in Отдельная многопоточная функция в скрипте:
просто хочу знать как это работает, а не просто написать чтоб работало пока не сломалось
Тогда экспериментируйте оно быстро сломается) и будет вам мануал собственного производства в голове, как и что можно.
@j0hnyb said in Отдельная многопоточная функция в скрипте:
там вроде никаких галочек и параметров указать нельзя
Можно если посмотреть на него и клацнуть правой кнопкой. Там все будет. причем графически.
