НЕОБХОДИМО 30 ОДНОВРЕМЕННЫХ СОЕДИНЕНИЙ ДЛЯ БЫСТРОЙ ЗАГРУЗКИ САЙТОВ ЧЕРЕЗ ПРОКСИ С МНОЖЕСТВОМ ФАЙЛОВ



  • Доброго времени суток. Часто нужно создавать ботов для страниц где множество файлов - более 200-300. У BAS по дефолту 6 одновременных соединений (ограничение задано в CEF). Чаще всего бот не отрабатывает такие страницы через прокси так как мало соединений и слабая скорость. Чаще всего это все заканчивается тайм аутом и сбоем работы скрипта.
    Решение вопроса примерно здесь http://magpcss.org/ceforum/viewtopic.php?f=6&t=10995, нужно задать 30 соединений вместо 6 и все будет прекрасно. Уже тестировал в обычном хром в ручную и страницу которую невозможно загрузить (amazon.com 300 файлов и более ) за минуту, грузится за 5 секунд на 30 соединениях. Огромная просьба срочно реализовать этот функционал, возможно на платной основе. У меня практически готовый бот неработоспособен. Есть ли выход из этой ситуации ?



  • @andrewsoft Хм. amazon.com грузит без проблем. И можно же отключить все не нужные запросы, если скорость плохая, да и если хорошая все равно лучше отключать.
    Еще, если с таймаутом проблемы то можно игнор ошибок использовать, но лучше использовать действие ждать на какой-нибудь элемент который нам обязательно нужен на странице.


Log in to reply
 

  • 5
  • 6
  • 4
  • 4
  • 22
  • 4
  • 23
  • 3