@pavelduglas said in Как работать с большим проектом? Модульную структуру не предлагать!:
Посмотрите видео насколько долго переносится 1 кубик в текущей функции.
11ссс.wmv
Как оптимизировать данную работу?
Создайте массив со всеми необходимыми ссылками на запрет запросов и прогоните через foreach с действием "запретить запрос"
Ничего из этого не помогает, зато выяснилось что помогает запускать скрипт, ставить на паузу в определенных местах и просто двигать мышью вручную, причем в режиме непрямого управления, в котором, по идее, движения мыши не должны передаваться.
Естественно, пробовал скриптом рандомизировать движение мыши в этих местах, но безуспешно.
@Samael_96 Самый простой. Первый поток парсит урл со всех страниц и записывает в ресурс, остальные потоки разгребают этот ресурс.
Ресурс создается в OnApplicationStart.
Запись в ресурс - действие "Добавить Элемент"
Создание ресурса - "Создать Ресурс"
По окончании работы первого потока его можно убить действием Fail с параметром "Не перезапускать поток."
Действие "Номер потока" может получать номер треда.
В будущем запланированы этапы выполнения. Для этого скрипта можно будет сделать 2 этапа и указать каждому свое количество потоков. Но такая реализация все равно самая быстрая, так как первый и второй этап работают одновременно.
@freeliman
Вариант 1
Создать ресурсы со списками
Создать цикл который будет брать новые данные из ресурса и записывать(Файловая система > Записать в файл) их в тот же файл с расширением .csv
"{{list1|notreuse}}";"{{list2|notreuse}}";"{{list3|notreuse}}"
Полученный файл спокойно можно открыть через Excel либо Google Таблицы
Вариант 2
Через базу данных.
Предварительно через редактор схемы БД, создаем структуру.
База данных > Вставить запись
Заполняем нужные поля входными данными.
После отработки скрипта идем в БД и экспортируем свои данные.
