Короче долбалса вчера с переносом куков через базу и понял что неблогадарное ето дело. Видно на слабых пк скрипт не хочет витаскивать дание типа куки 150 кб. один запись. В итоге понял что насторить роботу через ftp модуль мне лишним не будет. И хочу сказать роботает хорошо. Процес такой - Надо мне обработать какойто профайл с удальонного впс на другом компе. я просто скачиваю файл Cookies на второй пк через модуль фтп. В итоге сайт нормально подгружаетса. Но решил только один файл куки качать. С целой папкой профалом долго и обрыв может быть если в то время будет изменятса папка профайл. И вопрос. может ище что скачать для безпроблемной авторизации, Подскажите что будет полезно и содержитса в одном файле как куки. И остаетса вопрос сайти могут увидеть какието пробели в куках, или доругой инфе, что идет с профайла? Но роботает. И врятли я не буду так делать Но хочетса знать что можно подпарвить
spoilerКак прикрутить нормальный редублер?
-
Хочу прикрутить редублер к своему скрипту, чтобы он автоматически убирал дубли (стандартный не устраивает он очень медленный) брал новый файлик сделанный редублером и далее шел по скрипту, как это сделать, понимаю что через процессы, но не понимаю как0_1548337971565_Duplicat_Remover_by_teso_1.3.0.0.exe
-
@fluffik said in Как прикрутить нормальный редублер?:
Хочу прикрутить редублер к своему скрипту, чтобы он автоматически убирал дубли (стандартный не устраивает он очень медленный) брал новый файлик сделанный редублером и далее шел по скрипту, как это сделать, понимаю что через процессы, но не понимаю как0_1548337971565_Duplicat_Remover_by_teso_1.3.0.0.exe
Можно самому удалить дубликаты. Создаёшь объект и устанавливаешь элементы массива как ключи объекта, одинаковых ключей не бывает и они перезапишутся, на выходе просто собираешь в массив все ключи и всё:
unique = function (arr) { var obj = {}; for (var i = 0; i < arr.length; i++) { var str = arr[i]; obj[str] = true; // записать строку в виде свойства объекта } return Object.keys(obj); } var strings = ["кришна", "кришна", "харе", "харе", "харе", "харе", "кришна", "кришна", "8-()" ]; log(unique(strings)); // кришна, харе, 8-()сработает очень быстро. Из 22 мегабайтового файла изначального массива, осталось 10 мегабайт уникальных записей за 1 секунду.