Добавил еще ведущие нули к миллисекундам, если кому-то еще когда-то этот код понадобится
log = function (text, color, define){ var id, time, thread, logHtml, textLog; define = (typeof define == 'string') ? define.split(/[\s,.|:;]+/g) : define; if(typeof define === 'object' && define !== null){ if(Array.isArray(define)){ id = define.indexOf('id') > -1; time = define.indexOf('time') > -1; thread = define.indexOf('thread') > -1; } else{ id = define.id == true; time = define.time == true; thread = define.thread == true; } } else id = time = thread = true; id = id ? '<a href="action://action' + ScriptWorker.GetCurrentAction() + '" style="color:gray;">[' + ScriptWorker.GetCurrentAction() + ']</a>' : ''; time = time ? ' ' + getTime() : ''; thread = thread ? ' Поток №' + thread_number() : ''; logHtml = (id || time || thread) ? id + '<span style="color: white">' + time + thread + ' : </span>' : ''; logHtml += '<span style="color:' + (color ? color : 'white') + '">' + text + '</span>'; textLog = '[' + ScriptWorker.GetCurrentAction() + ']' + time + thread + ' : ' + text function getTime(){ var checkTime = function(i){ return (i < 10) ? "0" + i : i; }; var checkMilliSeconds = function(ms){ if (ms < 10) { return "00" + ms; } else if (ms < 100) { return "0" + ms; } else { return ms; } }; var d = new Date(); var hh = checkTime(d.getHours()); var mm = checkTime(d.getMinutes()); var ss = checkTime(d.getSeconds()); var ms = checkMilliSeconds(d.getMilliseconds()); return '[' + hh + ':' + mm + ':' + ss + '.' + ms + ']'; }; Logger.WriteHtml(logHtml, textLog); }Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы (РЕШЕНО)
-
Здравствуйте!
Как можно реализовать многопоток с разными страницами в каждом потоке
https://www.сайт.домен&p=номер страницыПроблема решена. Решение ниже:
Все создается в OnApplicationStart
- Создаем список [[НАЗВАНИЕ]]
- Создаем цикл FOR от "1" до "100" - 1 и 100 номера страниц
- В цикле FOR создаем действие "Добавить Элемент" и в нем в "Переменная, содержащая список" указываем список [[НАЗВАНИЕ]] из п.1 , а в "Значение для добавления" выбираем переменную [[CYCLE_INDEX]]
- Выбираем действие создать ресурс. В настройках ресурса ставите свое название и "Интервалы между использованиями " можете по дефолту оставить, а в остальных полях ставите единицу.
- Преобразуем список в ресурс "Имя ресурса" берем из п.4 , а "Переменная со списком" из п.1
@Fox прикрепил скрипт. Можете его посмотреть.
У кого тоже не скачивается скрипт, а открывается в браузере:
- Кликаем на скрипт, код скрипта откроется в браузере
- Нажимаем ПКМ из списка выбираем действие "Исследовать элемент"
- Переходим во вкладку "Sources"
- С левой стороны будет файл с расширением .xml
- Жмем по нему ПКМ и жмем "Safe as"
-
@sadsd111 said in Многопоток + парсер:
Здравствуйте!
Как сделать, чтобы парсинг происходил во многопотоке? Чтобы каждый поток брал новую ссылку и она не повторялась в другом потоке.используйте ресурсы
-
@Fox У меня таков алгоритм скрипта : БАС заходит на страницу / категорию?page=... После, по этомй категории проходит по страницам, в зависимости от их количества и парсит ссылку с каждого объявления на этой странице и записывает в файл. Потому и каждый поток, отработав свою ссылку, опять начинает повторять.
-
@sadsd111 said in Многопоток + парсер:
@Fox У меня таков алгоритм скрипта : БАС заходит на страницу / категорию?page=... После, по этомй категории проходит по страницам, в зависимости от их количества и парсит ссылку с каждого объявления на этой странице и записывает в файл. Потому и каждый поток, отработав свою ссылку, опять начинает повторять.
Скиньте ссылку на любую категорию
-
@sadsd111 said in Многопоток + парсер:
@Fox У меня таков алгоритм скрипта : БАС заходит на страницу / категорию?page=... После, по этомй категории проходит по страницам, в зависимости от их количества и парсит ссылку с каждого объявления на этой странице и записывает в файл. Потому и каждый поток, отработав свою ссылку, опять начинает повторять.
Повторюсь, вашу задачу проще решить используя ресурсы. Создайте локальный ресурс и запишите все данные в него, а во вновь запущенных потоках используйте этот локальный ресурс
-
-
@sadsd111 said in Многопоток + парсер:
@Fox А есть пример как это сделать?
Сделать что? Вам нужно выполнить действие "Создать Ресурс" и следом "Список В Ресурс"
-
Мне нужно реализовать многопоток с разными страницами в каждом потоке
https://www.сайт.домен&p=номер страницыЕсть варианты:
- https://www.сайт.домен&p=[[THREAD_INDEX]] + [[CYCLE_INDEX]]
- Создать ресурс и заполнить его номерами страниц (Выходит ошибка в сообщении выше)
- ???
-
@sadsd111 said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:
Мне нужно реализовать многопоток с разными страницами в каждом потоке
https://www.сайт.домен&p=номер страницыЕсть варианты:
- https://www.сайт.домен&p=[[THREAD_INDEX]] + [[CYCLE_INDEX]]
- Создать ресурс и заполнить его номерами страниц (Выходит ошибка в сообщении выше)
- ???
-
-
@sadsd111 said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:
@Fox Извините, а как скрипт правильно открыть?
Копирую код в test.xml и выходит сообщение: "Ошибка загрузки файла : Expected '#' or '[a-zA-Z]', but got '&'."правой клавишей на ссылку нажмите и в выпадающем меню выберите "сохранить как"
-
@Fox said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:
@sadsd111 said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:
Мне нужно реализовать многопоток с разными страницами в каждом потоке
https://www.сайт.домен&p=номер страницыЕсть варианты:
- https://www.сайт.домен&p=[[THREAD_INDEX]] + [[CYCLE_INDEX]]
- Создать ресурс и заполнить его номерами страниц (Выходит ошибка в сообщении выше)
- ???
Спасибо за скрипт. Решил проблему.
Все создается в OnApplicationStart
- Создаем список [[НАЗВАНИЕ]]
- Создаем цикл FOR от "1" до "100" - 1 и 100 номера страниц
- В цикле FOR создаем действие "Добавить Элемент" и в нем в "Переменная, содержащая список" указываем список [[НАЗВАНИЕ]] из п.1 , а в "Значение для добавления" выбираем переменную [[CYCLE_INDEX]]
- Выбираем действие создать ресурс. В настройках ресурса ставите свое название и "Интервалы между использованиями " можете по дефолту оставить, а в остальных полях ставите единицу.
- Преобразуем список в ресурс "Имя ресурса" берем из п.4 , а "Переменная со списком" из п.1
-
@Fox said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:
@sadsd111 said in Как реализовать многопоток с разными страницами в каждом потоке https://www.сайт.домен&p=номер страницы:
@Fox Извините, а как скрипт правильно открыть?
Копирую код в test.xml и выходит сообщение: "Ошибка загрузки файла : Expected '#' or '[a-zA-Z]', but got '&'."правой клавишей на ссылку нажмите и в выпадающем меню выберите "сохранить как"
Тоже разобрался с проблемой.
У кого тоже не скачивается скрипт, а открывается в браузере:- Кликаем на скрипт, код скрипта откроется в браузере
- Нажимаем ПКМ из списка выбираем действие "Исследовать элемент"
- Переходим во вкладку "Sources"
- С левой стороны будет файл с расширением .xml
- Жмем по нему ПКМ и жмем "Safe as"
