Bablosoft

Работа с телеграм

Поддержка

  • D

    Нагрузка на процессор забивается. Работа с Яндекс.

    Поддержка
    2 Votes
    70 Posts
    8865 Views
    sergerdnS

    Набросал простой скрипт, который в цикле на новом профиле(без старых кукисов Яндекса), открывает урл Яндекса с немного другим ключевым словом в запросе. Я поленился делать список нормальных ключевых слов, а добавляю в конец случайное значение.

    Каждый поток - свой выходной ip из совсем разных подсетей. Никак не проверял, что выдал мне поставщик прокси. Прокси резидентские, GEO - Москва и область.

    Отпечатки случайные, какие выдал сервис BAS, никак не фильтровались.

    Прокси устанавливались в начале старта каждого потока и в процессе работы с моей стороны не менялись, цикл посещения Яндекса вечный внутри каждого потока.

    Так как природа прокси, может быть, что в процессе работы, выходной ip сменился без моего участиях, я это никак не отслеживал.

    Ни по каким ссылкам из выдачи не переходил, выдачу никуда не сохранял. Только писал в лог текущий урл браузера, чтобы понять была ли каптча.

    Нигде никаких ожиданий, искусственных тайм-аутов нет. Только ожидание полной загрузки страницы с тайм-аутом по умолчанию.

    Домены Яндекса в процессе не менял, использовал один и тот же.

    Просидел два часа, прождал каптчу хотя бы на одном их 10-ти запущенных потоков.

    Лог одного потока:

    [666847975] [04:42:40] Thread #1 : https://yandex.ru/search/?text=buy+viagra+online+mv4k1adc1w&search_source=yacom_desktop_common&rdrnd=481729&lr=10743&redircnt=1695555745.1 [666847975] [04:43:51] Thread #1 : https://yandex.ru/search/?text=buy+viagra+online+3vkxoyr1yc&search_source=yacom_desktop_common&rdrnd=892079&lr=10743&redircnt=1695555761.1 [666847975] [04:43:59] Thread #1 : https://yandex.ru/search/?text=buy+viagra+online+o9ctqc54ek&search_source=yacom_desktop_common&rdrnd=414770&lr=10743&redircnt=1695555831.1 [666847975] [04:45:10] Thread #1 : https://yandex.ru/search/?text=buy+viagra+online+zwoih8cjgy&search_source=yacom_desktop_common&rdrnd=515797&lr=10743&redircnt=1695555840.1 [666847975] [04:45:17] Thread #1 : https://yandex.ru/search/?text=buy+viagra+online+yft38tg7e6&search_source=yacom_desktop_common&rdrnd=314699&lr=10743&redircnt=1695555910.1 [666847975] [04:46:28] Thread #1 : https://yandex.ru/search/?text=buy+viagra+online+rp7j6mbupl&search_source=yacom_desktop_common&rdrnd=953453&lr=10743&redircnt=1695555918.1 [666847975] [04:46:36] Thread #1 : https://yandex.ru/search/?text=buy+viagra+online+m5vvgvlz4f&search_source=yacom_desktop_common&rdrnd=935429&lr=10743&redircnt=1695555989.1 [666847975] [04:46:43] Thread #1 : https://yandex.ru/search/?text=buy+viagra+online+lc1no91xzn&search_source=yacom_desktop_common&rdrnd=352691&lr=10743&redircnt=1695555997.1

    Домены Яндекса, заранее собрал, думал, что мне понадобятся. Не пригодилось. Выдачу между ними не сравнивал.

    yandex.com yandex.ru yandex.by yandex.kz yandex.uz yandex.com.tr yandex.fr yandex.az yandex.com.ge yandex.com.am yandex.co.il yandex.lv yandex.lt yandex.ee yandex.md yandex.tm yandex.tj
  • Z

    Работа с базой в многопотоке

    Поддержка
    0 Votes
    5 Posts
    1164 Views
    FoxF

    @Zack9 said in Работа с базой в многопотоке:

    В Басе в настройках базы почему-то разделена галка на обновление ресурса. Хотя по идеи ресурс также как и база сразу должен обновляться. Но в басе чтобы обновился и ресурс, надо отдельно ещё галку поставить.

    В действиях записи данных в базу можно выбрать, сразу обновить данные в базе данных или только после завершения потока.
    Ресурс сохраняет информацию об использовании данных отдельно, что бы можно было выполнить условия "успешных и неудачных выполнений", более подробно я описывал это здесь:
    https://community.bablosoft.com/topic/7811/странно-работает-удалить-текущий-элемент/6

    Для чего это сделано, потому что обновление ресурса будет более затратно по производительности? И сможет бас также миллион строк тянуть, если ресурс с базой обновлять надо будет?

    Ресурс для экономии получает данные кусками, по 100 000 строк (вроде). Так что на производительность это не должно повлиять.
    В конце концов создайте необходимую логику без использования ресурсов, если не нравится реализация их работы, ни кто же не заставляет в обязательном порядке использовать ресурсы. Это всего лишь инструмент, один из многих. Вы можете просто создать дополнительную колонку "lock" с булевом, для блокировки элемента, что бы исключить получения этих данных в других потоках.

  • CaptchaLomC

    БАГ с капчей

    Поддержка
    0 Votes
    3 Posts
    1117 Views
    CaptchaLomC

    я уже все давно закрыл а в анализаторе запросов идут какие то запросы!

    2020-10-15_22-55-51.png

  • L

    Json массив с [ в начале, с обработкой slice, появляется проблема

    Поддержка
    0 Votes
    5 Posts
    1437 Views
    L

    Спасибо большое, DrPrime, решился вопрос.

  • B

    Помогите с регуляркой

    Поддержка
    0 Votes
    21 Posts
    7963 Views
    bigoratB

    @Fox, спасибо, все же в BAS-е присутствует иногда что то мистическое, вплоть до перезагрузки проги, вышел, вошел и заработало :)