Bablosoft

асинхронное выполнение скрипта http клиент

Поддержка

  • S

    Вопрос по оптимизации скрипта.

    Поддержка
    0 Votes
    22 Posts
    2810 Views
    V

    @SUICIDEW4VE

    У меня был очень похожий опыт, но я остановился на другом решении.
    Я тоже тестировал скрипт на 8 ядерном 32 гб дедике с широким каналом и там еле еле 10 потоков шло.
    Работающими решением оказалось взять 32 ядерный локальный сервер с 64 оперативки, на не очень быстром канале, с сокс5, на нем 100+ потоков запускалось.
    Скрипт тот же, никаких оптимизаций не делалось.
    Стоит конечно побольше, чем аренда дедика но тут уж зависит от окупаемости твоей темы, стоит ли оно того или нет.
    Но соксы могут быть узким местом, по возможности нужно делать свои соксы. Для этого, можно брать дешевые VPS и установить сокс через опенсурсный софт microsocks для линукса (в инете полно инструкций по установке, занимает не более 5 минут вручную, и можно установку через БАС автоматизировать также на случай если нужны сотни соксов).

  • N

    Не удалось получить страницу http://ip.bablosoft.com

    Поддержка
    0 Votes
    18 Posts
    2606 Views
    sergerdnS

    @sir-ydroidrrr said in Не удалось получить страницу http://ip.bablosoft.com:

    Тоже беспокоит эта тема, у меня хоть ошибок и не было, но если ip.bablosoft.com упадет, боты встанут. Отпечатки можно заранее получить и сохранить, а как быть с этим? В моем случае IP адрес прокси не совпадает с внешним IP, и получение его (внешнего) обязательно.

    Пути есть. На днях делал, правда по другим причинам.
    BAS(проверка прокси) -> мой сервер с моей прокси -> прокси провайдер-> определение внешнего ip.
    На моем сервере стоит мой софт(прокся). Там уже я делаю логику, которую хочу. Вплоть до перенаправление определённых запросов по каким угодно правилам куда угодно и через какие угодно прокси во внешний мир.

    Ссылки по теме:

    https://github.com/ginuerzh/gost https://wiki.squid-cache.org/Squid-5 https://www.haproxy.com/blog/layer-4-and-layer-7-proxy-mode/
  • M

    http client proxy error

    Поддержка
    0 Votes
    27 Posts
    5104 Views
    L

    @monbut натычь меток, if что-то, значит прыгнуть туда-то, если уж совсем не понял о чем тебе фокс расписывал столько времени

  • J

    Не открывается страница через http клиент

    Поддержка
    0 Votes
    5 Posts
    1278 Views
    uraabkU

    @john_bradley своеобразная кодировка... Получите полностью ответ и ищите нужную информацию.

  • brotokB

    Как игнорировать ошибки при выполнении скрипта?

    Поддержка
    0 Votes
    10 Posts
    2445 Views
    artihorrorA

    @brotok 1_1512459419312_1512455229233-kufar-парсерV2.xml 0_1512459419297_1512455229233-kufar-парсер.xml вот тебе пара вариантов. один с циклом, второй без. Оба отрабатывают весь файл со сылками. количество потоков, ошибок и успехов редактируются через ресурсы, так же в ресурсах указываешь путь к файлу (писать ручками) дл вывода результата