@Erick said in Скрипт на POST/GET+Система Профилей:
Всем доброго времени суток!
Подскажите, работает ли связка скрипта на запросах и система профилей?
До этого писал скрипты с эмуляцией действий в браузере, но надоели периодические ошибки из-за непрогруза страниц и элементов и тд.
Я так понимаю, если буду делать скрипт на запросах этих неприятностей можно избежать.Стоит ли мне начинать изучать запросы для работы с вк, мэйлру и тд? Не палят ли эти сайты ботов, ведь эмуляции действий на сайте нет.
Правильно ли я понимаю, что скрипт на запросах работает более стабильно?
Есть ли подробный манул по запросам? Нашел на ютубе, но там человек не очень внятно говорит и многие моменты не поясняет.
Заранее благодарен за помощь!
Всё в интернете работает на запросах, загружая страницу в браузере вы отправляете запрос на сервер для выдачи вам страницы и всех сопутствующих файлов (скрипты, стили, картинки).
Определением поведения пользователя на странице занимаются скрипты, которые генерируют в зависимости от ваших действий данные и шлют их на сервер, там эти данные обрабатываются и принимается решение, бот вы или нет. Браузер все эти скрипты запускает автоматически, а в случае с http-клиентом вам нужно будет эмулировать работу браузера и генерировать абсолютно все необходимые значения необходимых скриптов самостоятельно.
Самый простой и наглядный пример - обход cloudflare через http-клиент, для обхода в браузере, достаточно ни чего не делать 5 секунд и защита пройдена, а для обхода через http-клиент нужно самому получить код, самому его разобрать, самому его выполнить, получить правильный результат и отправить его на сервер
Добавлю, что отреверсить скрипты определяющие действия пользователя можно, но это чертовски сложно и по сути бессмысленно, потому что весь скрипт может изменится в любой момент и придётся реверсить по новой. Их разрабатывают целые конторы со штатом программистов
@Fox Большое спасибо за информацию! Вы очень мне помогли! Только я не очень понял, что значит "отреверсить скрипты определяющие действия пользователя". Имеется в виду, что, например, вк пытается понять что мой скрипт - бот или мне нужно написать скрипт, который не будет похож на бота и мне это делать бессмысленно?
@Erick said in Скрипт на POST/GET+Система Профилей:
@Fox Большое спасибо за информацию! Вы очень мне помогли! Только я не очень понял, что значит "отреверсить скрипты определяющие действия пользователя". Имеется в виду, что, например, вк пытается понять что мой скрипт - бот или мне нужно написать скрипт, который не будет похож на бота и мне это делать бессмысленно?
Отреверсить - означает разобрать скрипт и понять как он работает, чтобы можно было самому сгенерировать данные идентичные его работе в браузере.
@Fox said in Скрипт на POST/GET+Система Профилей:
@Erick said in Скрипт на POST/GET+Система Профилей:
@Fox Большое спасибо за информацию! Вы очень мне помогли! Только я не очень понял, что значит "отреверсить скрипты определяющие действия пользователя". Имеется в виду, что, например, вк пытается понять что мой скрипт - бот или мне нужно написать скрипт, который не будет похож на бота и мне это делать бессмысленно?
Отреверсить - означает разобрать скрипт и понять как он работает, чтобы можно было самому сгенерировать данные идентичные его работе в браузере.
Теперь понял!
@Fox said in Скрипт на POST/GET+Система Профилей:
Добавлю, что отреверсить скрипты определяющие действия пользователя можно, но это чертовски сложно и по сути бессмысленно, потому что весь скрипт может изменится в любой момент и придётся реверсить по новой. Их разрабатывают целые конторы со штатом программистов
Поэтому никогда мы не увидим Google авторег на запросах :D
Хотя шас какакой-нить ВАСЯ из 6 "Б" выбежит и скажет, что у него авторег гугла на запросах, он мега крут и вообще ему не нужно перечить :D
@Erick Не надо вам гугл и яндекс сначала попробуйте просто букс на запросах или кран. Просто попробуйте. Это не для того что бы вы не пробовали, это что бы вас не напугать и не отвратить от этого на самом деле довольно веселого и мозгоплавительного занятия.
@FastSpace А зачем тебе скрипт на запросах) Кроме уймы гемороя будет еще и его вес И сложность. Жрать он станет не сильно меньше обычного webdriver selenium. Т.е выхлоп невелик. Я постоянно новичкам талдычу не надо повторять за мной да у меня есть скрипты которые работают споисковиками на запросах. Но я НИКОГДА НИКОМУ не дам их даже за деньги. . То что знают двое.. то.. и это не регистраторы. Это хорошо для тренировки. Да. Для учебы, ну и наконгец надо знать врага тех кто на той стороне. Но не для постоянного использования. Гораздо эффективнее работать и так и так. Если проще запросами делаем их, проще браузер запускаем его. У баса конечно есть заминка если открыл окно то оно останется, но это не критично. Если работа с поисковиками то подразумевается что это не домашний laptop.
А увидеть такое это автоматом спалить и будет смена, да...
p/s кстати возможно и выбежит=) то что придумал один другой завсегда сломать может и
снова может Как только это станет известно более чем одному отсчет пошел.
pss эти методы давно не работают и даты старые просто как факт да такое бывает даже гиганты не всегда уровень 'бог'
http запрсы вроде POST/GET - это только в случае если их на странице не обрабатывают в js.
Если идеть обработка в js, то его нужно реверсить. Знать протоколы интернета, сам js и не мало чего другого.
Хотя бывает что некоторые передают голые даные по http протоколам. Тогда можно без глубокого реверса js.
то есть простые http запрсы без js можно без знаний особо. а если есть js нужны знания, причем не только по js.
@f0cus простой сборщик данных можно и на curl или его аналагах сделать на каком нибудь ЯП. и он будет эффективней чем использование эмуляторов браузера("Жрать он станет" "сильно меньше обычного webdriver selenium"). если конечно разработчики ресурса не намудряд чем то. Та же подгрузка контента через js на ресурсе зачастую облегчает задачу, не нужно грузить всю страницу а получаешь сразу контент в json например
@f0cus said in Скрипт на POST/GET+Система Профилей:
pss эти методы давно не работают и даты старые просто как факт да такое бывает даже гиганты не всегда уровень 'бог'
Эти времена прошли уже когда гигатов нагибали на запросах в 100500 потоков в вебе ))
Я шас даже в браузерных авторегов Google не вижу на рынке. Есть на форуме у конкурента парочку, но там дикий треш.
В магазинах сейчас продают аки с регистрацией через приложение. Видимо там еще можно чето замутить.
@FastSpace Арбузы тож самое. Они есть но стоит стать им известными как их нет. Очень финансово обесчательная весчь. И думаешь у гугля нет своих pentester-ов? Итак они не шарются? Времена никогда не пройдут пока весь код писать не станет только машина) Чем он сложнее тем значит в нем потенциально больше дыр. Это аксиома)
Хотя если машина то надо отборать клавы буит запретить консоль в общем ограничить доступ приматам к командам и оставить только картинки иначе все равно найдется особь изощренная и пытливая. Это тоже аксиома. Нам нравится ломать.
@f0cus said in Скрипт на POST/GET+Система Профилей:
@FastSpace Арбузы тож самое. Они есть но стоит стать им известными как их нет. Очень финансово обесчательная весчь. И думаешь у гугля нет своих pentester-ов? Итак они не шарются? Времена никогда не пройдут пока весь код писать не станет только машина) Чем он сложнее тем значит в нем потенциально больше дыр. Это аксиома)
Хотя если машина то надо отборать клавы буит запретить консоль в общем ограничить доступ приматам к командам и оставить только картинки иначе все равно найдется особь изощренная и пытливая. Это тоже аксиома. Нам нравится ломать.
все к этому идет. приложения и игры требуют все меньше манипуляций со стороны юзера. так же ограничиваются возможности манипуляций вообще.
@tet-vivi Иманно попытка усложнения не приведет к победе и это уже поняли, а обладать большими данными зная что у тебе где то и не такие уж большие и воопще как то неуютно.
Но это все фигня до тех пока нет нормальных "тонких клиентов" пока все что я хочу я решаю у себя, мрийки о большой перемоге надо мной как обычном юзвере разбиваются о шнур электричский или модем. А считать я и без них могу. Это самое слабое место строителей системы.
@f0cus said in Скрипт на POST/GET+Система Профилей:
@tet-vivi Иманно попытка усложнения не приведет к победе и это уже поняли, а обладать большими данными зная что у тебе где то и не такие уж большие и воопще как то неуютно.
будещее: вы еще не поняли что хотите, но программа/ии/ai уже сделала это за вас
@f0cus Вообще я не понимаю смысла скриптов на запросах сейчас. Железо становиться мощнее и дешевле.
Я тут серваки урвал по акции с AMD 3700x за 4к. На заметку: На СНГ рынке такие серваки продают за 10-17к.
Спокойно тянут 120 потоков в вебе, окупаемость несколько часов.
@FastSpace said in Скрипт на POST/GET+Система Профилей:
@f0cus Вообще я не понимаю смысла скриптов на запросах сейчас. Железо становиться мощнее и дешевле.
Я тут серваки урвал по акции с AMD 3700x за 4к. На заметку: На СНГ рынке такие серваки продают за 10-17к.
Спокойно тянут 120 потоков в вебе, окупаемость несколько часов.
а если тебе нужно в 10, в 100 и более раз больше потоков?
мне как то надо было с 200 млн странц вытащить данные...
@FastSpace said in Скрипт на POST/GET+Система Профилей:
Вообще я не понимаю смысла скриптов на запросах сейчас.
В них огромный смысл просто ты зациклился на своих регерах будто больше ничего не автоматизируют ))
@UserTrue said in Скрипт на POST/GET+Система Профилей:
@FastSpace said in Скрипт на POST/GET+Система Профилей:
Вообще я не понимаю смысла скриптов на запросах сейчас.
В них огромный смысл просто ты зациклился на своих регерах будто больше ничего не автоматизируют ))
Согласен задачи разные, но мои задачи (погреть профиль, зарегать акк и еще раз погреть профиль с этим аком) достаточно веба. Железо дешевое.
