@suvorov_jr2 Спарсить все ссылки сайта по шаблону и не придётся проверять на дубли , а просто удалять из txt при успешном посте. Или если у сайта id статьи в виде цифры ,как здесь https://otvet.mail.ru/question/231973765 , то сгенерируй лям цифр для статей и рассылай комменты без проверки на дубли. Ещё можно проверять перед постингом, наличие на странице уникального слова, которое есть только в твоём спаме.
Выросла нагрузка на сеть
Moved
Поддержка
-
Делаю нагул профиля и начал замечать большое потребление трафика за счет ресайзеров, которые отдают контент без расширения но с заголовками content-type video/mp4 image/jpeg и тд. На одном из сайтов почти гиг потратил в пустую. Можно как-то отключить загрузку файлов на основе заголовка и без маски по домену и директории аля как на ютубе?
-
M Moderator moved this topic from Off topic on
-
@clarabellerising такие примитивные вещи делаются в первую очередь, смотрите суть проблемы! Есть картинки и видео которые отдаются через ресайзеры без расширения (для примера https://olh.openlibhums.org/article/id/17354/file/177423/) и их можно запретить только на основе content-type. Шаблон адреса не получится сделать, на большинстве сайтов адреса разные судя по логам сети.
-
@mojno ti mojesh podzaebatsa konechno, delat HEAD zapros na kajdiy link, t.e. snachala zapreshaesh vse zaprosi krome main url, vse chto zablokirovalo HEAD'ish, proveryaesh content-length/content-type, i potom uje reshaesh kachat eto ili net
-
vot primer na tvoy link -
eshe mojno dobavit v zapusk brauzera kluch "--disable-web-security" chtobi ne imet problem s cors
-
@clarabellerising это уже стоит, спасибо! Да, жрать будет много на проверке, но это того стоит. Спасибо за наводку!
