@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
На чем палиться бот?
-
Всем привет, хотел бы попросить совета, к примеру, делаем бота максимально похожего на человека - разные ip, залогинен в пс, адекватное поведение, хороший прогрев по другим ресурсам.
Но на чем палит гугл и яндекс, что это бот, а не человек ? Есть ли какие-то пути решения? -
Эту свежую Тему почитай те, там даже сам Разраб вот ответил - https://community.bablosoft.com/topic/14911/сайт-жестко-палит-bas-реальный-юзер-агент-движка/22
-
@super84 said in На чем палиться бот?:
свежую Тему поч
спасибо за ответ, это видел, но думаю, это не единственное, что палит поисковик. К примеру, если кликать себе адсенс ботом баса, то адсенс это палит на раз-два. Как думаете, почему?
-
@kakashka Ну хз, у меня на одном давнишнем Скрипте, есть даже Вкладка с Кликами в % по Рекле ( сами пользователи Просили ) и на Норм Проксях и норм Профилях и не Жадничая, засчитывало Клики.
Там естественно не ток просто Клики а с эмуляцией на Сайте Реклы и переходами.
Вам по Сути то тут свои наработки то не Раскроют.
А вот ток про что вы написали могли бы дать Совет.
Надо тож углубляться в Защиту тех Сайтов или Поисковиков, что бы хоть как то обходить их :) -
@kakashka said in На чем палиться бот?:
му поч
Спасибо! А скрипт на басе сделан?) Как считаете для накрутки пф в яндексе хорош ли бас? ранее пробовали делать на селениуме, но костыль на костыле был.
-
@kakashka Так мы вроде на БАС Форуме то сидим и я об нём и говорю :)))
Видел Чат в Телеги, не помню как называется, вот там и БАСовские писали что ПФ крутят и Роботность в ЯД нулевая.
Вот что бы этого добиться, сразу не получится.
Да и опять же безВложений не куда :)
На те же Прокси да и Свежие Отпечатки, тоже роль играют, может у вас Отпечатки, с древними в них Браузерами, вот вам и первое Палево и не доверие со стороны Поиск Систем.
С кандачка то в общем не заскочишь :) -
@super84 said in На чем палиться бот?:
я об нём и говорю :)))
Видел Чат в ТелегиА можно Вас в телеграмме найти, показать свой скрипт, как доделаем.
Роботность и у нас была нулевая, потом сайт пропал из зоны видимости, яндекс платон как всегда написал, типа все ок, но это сейчас такой пассивный бан у них :) -
@super84 said in На чем палиться бот?:
@kakashka Так мы вроде на БАС Форуме то сидим и я об нём и говорю :)))
Видел Чат в Телеги, не помню как называется, вот там и БАСовские писали что ПФ крутят и Роботность в ЯД нулевая.
Вот что бы этого добиться, сразу не получится.
Да и опять же безВложений не куда :)
На те же Прокси да и Свежие Отпечатки, тоже роль играют, может у вас Отпечатки, с древними в них Браузерами, вот вам и первое Палево и не доверие со стороны Поиск Систем.
С кандачка то в общем не заскочишь :)Мне иногда кажется что местным обитателям просто скучно и они спецом лезут в детекторы, чтоб показать что в BAS где то и что то...
Работайте себе спокойно, в Рунете тысячи сайтов которые даже не знают о тех защитах.
-
@dobrok said in На чем палиться бот?:
@super84 said in На чем палиться бот?:
@kakashka Так мы вроде на БАС Форуме то сидим и я об нём и говорю :)))
Видел Чат в Телеги, не помню как называется, вот там и БАСовские писали что ПФ крутят и Роботность в ЯД нулевая.
Вот что бы этого добиться, сразу не получится.
Да и опять же безВложений не куда :)
На те же Прокси да и Свежие Отпечатки, тоже роль играют, может у вас Отпечатки, с древними в них Браузерами, вот вам и первое Палево и не доверие со стороны Поиск Систем.
С кандачка то в общем не заскочишь :)Мне иногда кажется что местным обитателям просто скучно и они спецом лезут в детекторы, чтоб показать что в BAS где то и что то...
Работайте себе спокойно, в Рунете тысячи сайтов которые даже не знают о тех защитах.
Ты прикинь, но автоматизировать форум любителей рыбалки вообще нет никакого смысла.
Многие работают именно с топ сайтами, где все эти защиты есть. -
@kakashka said in На чем палиться бот?:
Всем привет, хотел бы попросить совета, к примеру, делаем бота максимально похожего на человека - разные ip, залогинен в пс, адекватное поведение, хороший прогрев по другим ресурсам.
Но на чем палит гугл и яндекс, что это бот, а не человек ? Есть ли какие-то пути решения?Если тебе начать расписывать все, получится целая лекция из 1000+ пунктов
1)Здесь так
2) А здесь не так.- А вот еще это....
