делаете базу, или список, в зависимости от надежности - парсите ссылки в базу/список - и сравниваете два списка или базы, все чего нет в старом списке - новые ссылки.
Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день
-
Понадобился значит мне относительно совсем небольшой обьем гретых профилей в день.
Собственно смотрим сюда:
Почти 2к профилей занели на жестаке 546 ГБ!!! места жесткого диска. Причем профиль не особо то гретый, суммарное время которое провел в поисковиках и сайтах около 1-1.5 часа (чистое время серфинга в течении нескольких дней)
Это для 10к профилей в день мне надо 2.5 TB расходовать? :D Жесткий диск SSD рассчитан на 400 TB, это через год он уже умрет, а то и раньше.
Нужно срочно рабочее действие которое будет как-то запрещать кэш хотя бы.
Вариант чистить не подходит. Видел я такой батник на форуме - место на диске уже записалось и ресурсы диска израсходовались. -
@FastSpace У меня профили на обычном диске разницы не вижу.
-
@UserTrue said in Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день:
@FastSpace У меня профили на обычном диске разницы не вижу.
Ты про HDD? Там скорость переключения на нем меньше, но чую придеться 16 террабайт от сеагете покупать.
-
@FastSpace said in Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день:
Ты про HDD?
Да. Он тоже скорей всего сдохнет за год таких объемах, но и хрен с ним.
-
@UserTrue said in Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день:
@FastSpace said in Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день:
Ты про HDD?
Да. Он тоже скорей всего сдохнет за год таких объемах, но и хрен с ним.
Да он окупиться, но все же лишний гемор мониторинг еще и этого пилить.
А как люди 100к греют то в сутки? :D Или это языкочесатели из 7Б?
-
@FastSpace said in Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день:
А как люди 100к греют то в сутки? :D Или это языкочесатели из 7Б?
Нормально 100К профилей нереально прогреть на одном ПК думаю, это надо с десяток не самых слабых машин.
-
@UserTrue said in Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день:
@FastSpace said in Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день:
А как люди 100к греют то в сутки? :D Или это языкочесатели из 7Б?
Нормально 100К профилей нереально прогреть на одном ПК думаю, это надо с десяток не самых слабых машин.
Нормально это сколько, если у меня от полуторчасового серфинга уже так забилось. А если надо 40 часов?
-
@FastSpace Тыже сам радовался sdd/ своему. Весьма костыльно, но если подключить вместо sdd hdd он и дешевле и долше?. Ну или если тебе прям надо много и очень быстро серверный hdd. но там цена конечно удивит.
-
@f0cus said in Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день:
@FastSpace Тыже сам радовался sdd/ своему. Весьма костыльно, но если подключить вместо sdd hdd он и дешевле и долше?. Ну или если тебе прям надо много и очень быстро серверный hdd. но там цена конечно удивит.
Точно, диски SAS. Скорость тоже смотрю не унылыгое говно как HDD.
Посмотрел цена приемлима для 6 TB. Это хватит кокраз для 10к профилей в сутки + 10к тех кто на регу там лежит. -
ну что тут придумаешь:
- запретить картинки через mask deny, итого 5 действий:
*.jpg
*.gif
.jpeg
.png
.svg
(форум порезал звездочки)
если только часть картинок надо отрубить, то смотри через инструменты разработчика -> network какие конкретно урлы надо запретить, для фейсбука аватарки примерно так запрещать:
https://scontent-ham3-1.xx.fbcdn.net/v/t1.0-1/p240x240/.jpg? или .fbcdn.net/v/t1.0-1/p240x240/_n.jpg? - удалять папку кеша через работу с файловой системой (их там две сейчас /cache и /code cache) перед началом использования профиля. авторизации не слетают. можно и в конце работы скрипта тоже кеш удалить, но тогда не до конца удалится, но 5-10 метров с аккаунта почистит.
- запретить картинки через mask deny, итого 5 действий:
-
- Гугл палит это, потом можешь хоть обогреться. Запросы перестанут уходить в аналитику и прогрев не будет идти в зачет.
- Это тоже не вариант - удаление кэша еще быстрее снизит время жизни диска. Кэш уже записался и ресурсы диска потратились.
-
-
@Evheniu said in Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день:
а видел в каждом профиле в новой версии бас, появилась папка Code Cache, она не хило так занимает места, её не очищал?
Я видел, она занимает у меня 70 МБ, основная папка с кэшем 400 (у 1 профиля). А если честно не хочеться туда лезть и чето ковырять не имея детальной инструкции. Фиг его знает как это влияет палево сайтами.
Плюс там еще какие-то проблемы когда профиль на сетевом диске, саппорт писал адаптировал только кукисы передачу. Тоже хер его знает чего там не хватает теперь и будет ли этот профиль вообще гретым на другом пк.
-
@mjeday said in Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день:
У себя глянул, около 450 профилей 4,5 Гб весят. Как у вас получилось в 27 раз больше места? O_o
Смотря что с ними делать, если их юзать под один два сайта то они буду меньше, чем если их нагуливать по куче случайных сайтов для которых будет сохраняться куча кэша
-
@FastSpace а какую версию бас ты используешь сейчас?
-
@Evheniu said in Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день:
@FastSpace а какую версию бас ты используешь сейчас?
22.7.1
-
@FastSpace у тебя нету проблемы с тем, что на новой версии потоки бас сильнее грузят процессор?
-
@Evheniu said in Понадобилось мне значит 10000 (десять тысяч) гретых профилей в день:
@FastSpace у тебя нету проблемы с тем, что на новой версии потоки бас сильнее грузят процессор?
Есть и грузит сильнее. Это движок и с этим ничего нельзя сделать.
У меня есть старый комп 4 ядра - 4 потока - 3300 Мгц. Есть сайт который просто при его загрузке через действие "загрузить" на 100% загружает четырядерный процик на несколько секунд. Так в обычном хроме, так и в BAS. Это не майнер и не вирус. На сайте много рекламы и много js скриптов, много фреймов. -
@FastSpace запрет на запись папки поставить.
