Bablosoft

Как можно скачать страницу со всеми ресурсами (и можно ли вообще)

Moved Поддержка
  • M

    Здравствуйте.
    Скажите пожалуйста, возможно ли как то с помощью BAS скачать страничку в интернете по аналогии с wget? И если да, буду признателен за помощь, каким образом можно править ее код перед сохранением.

    Всем отличного дня и заранее спасибо за ответы :)

    ? bms.javaB 2 Replies
    0
  • ?

    @makspachino С помощью БАС можно все, что касается web. Ознакомьтесь сначала с вики и мануалами, а потом уже задавайте конкретный вопросы.

    M 1 Reply
    0
  • M

    я уже больше двух недель изучаю вики и видео с ютуб... но в связи с малыми знаниями в принципе, не много не понимаю в какую сторону смотреть - в связи с чем и был задан вопрос :(

    С помощью чего такое лучше сделать? Сохранение web странички с ее редактированием "на лету" к примеру с использованием регулярок и конечным ее сохранением со всеми ресурсами..

    Извините если задублировал, но не смог найти такой вопрос :(

    0
  • bms.javaB

    @makspachino так wget же это консольное приложение. Можно просто заюзать(через экшн Запустить Процесс) wget и не придумывать костыли

    0
  • bms.javaB

    Вот пример как можно сделать
    0_1547217501444_wget.rar

    0
  • M

    Тогда вернусь ко второй части вопроса:

    Допустим wget скачал страницу и ресурс, но как мне в одном сценарии отредактировать скачанный файл с помощью регулярных выражений? К примеру index.html

    0
  • M

    @usertrue я искал в поиске и не нашел :( разве не для этого существует раздел сапы? если есть возможность, я буду очень признателен за любую помощь....
    Wget это хорошо, но можно ли делать без сторонних средств? И как потом на лету править все это дело?

    0

  • K

    Возможно ли сделать СБРОС в цикле while и продолжить с того момента, на котором остановился

    Поддержка
    0 Votes
    5 Posts
    774 Views
    K

    @Fox раньше делал метку на начало скрипта после сброса, а это перед циклом while, поэтому он сбрасывал счётчик, теперь понял, что операции надо повторять внутри цикла, чтобы не сбить счётчик.

  • R

    на каком сайте можно посмотреть установленные расширения? и видят ли сайты отключенные?

    Поддержка
    0 Votes
    4 Posts
    674 Views
    ?

    @razer Чето они поломали эту проверку, все он видит. Надо другой какой нить сайт поискать.

  • ReversR

    Как сгенерировать верный токен, для прохождения проверки и получения ответа от бота, без API?

    Поддержка
    0 Votes
    6 Posts
    1016 Views
    ReversR

    @Bigma Он приходит в ответе от js скрипта
    https://www.cleverbot.com/extras/conversation-social-min.js?37, который его генерирует. Не очень понятно из чего формируется icognocheck, чтобы через действие "Джаваскрипт" повторить это , подставив свои переменные. Если в md5 кодируется например вопрос + time + рандом символы, то вполне можно этот сэмулировать думаю. Только кто бы подсказал, что входит в md5? Весь js код не умещается в пост, вот ссылка на весь код: https://js.do/code/471683

    if (cleverbot.aimode < 2) { d += "&islearning=1&icognoid=wsf&icognocheck="; if (typeof md5 != "undefined") { d += md5(d.substring(7, 33)) } } var cleverbot = { airemake: 10, aitimeout: 59, betweenrequests: 5, debug: 0, expiredays: 3, savelines: 100, showlinesfull: 8, showlines: 3, showopener: 1, conversationid: "conversationcontainer", peopletalkingid: "peopletalking", avatarid: "avatarcontainer", buttonmode: 1, aimode: 0, withreactions: 1, botname: "Evie", allowempty: 0, expandable: 1, avatarfile: "Evie", voicetype: "female", voiceeffects: "", voiceoverride: "", voiceoverridelanguages: "", urlpostfix: "", numalternates: 0, alternates: [], usingalternate: 0, typereply: 1, emotionatstart: "", source: "website", extradata: "", page503: "", num503: 0, ep: "uc=UseOfficialCleverbotAPI&", text_en: { sayit: "say it", defaultinput: "say to Evie...", asrerror: "Sorry, that didn't work. Please check your microphone or speak louder.", allowmicrophone: "Please Allow this website to use your microphone.", clickandspeak: "Click and start speaking", clickforsecure: "Click to go to our secure server so you can use the microphone.", toobusy_short: "Oops, too busy.", toobusy_long: "Servers are too busy. Please try again later.", lostconnection_short: "Oops, lost connection.", lostconnection_long: "Lost connection to server. Please try again later.", invalidinput: "Your input contains multiple lines or HTML. Please try again.", repeatedinput: "You have said that several times. Please say something new.", copypastedinput: "You have already said that in this conversation. Please don't use copy and paste.", repeatedbot: "I just said that. Please say something new.", showmorelines: "Show more lines", showfewerlines: "Show fewer lines", newconversation: "New conversation", showfullconversation: "Full conversation", iamspeaking: "I am speaking", showavatarusing: "Show avatar using", showavatarusingpictures: "Avatar images", showavatarusingflash: "Flash", showavatarusingeap: "Existor Avatar Player", rememberconversation: "Continue this conversation next visit", thinking: "thinking", stillthinking: "still thinking", thinkaboutit: "think about it", thinkforme: "think for me", thoughtssofar: "thoughts so far", thoughtssofarnone: "After typing something you'll be able to see a log of what's you've said - your thoughts so far.", peopletalking: "people talking", replyrefresh: "Help us improve Evie and your conversation! Press this button to choose the most appropriate reply."
  • brotokB

    Как сделать парсинг части ссылок со страницы (по стилю)?

    Поддержка
    0 Votes
    2 Posts
    631 Views
    FoxF

    @brotok said in Как сделать парсинг части ссылок со страницы (по стилю)?:

    Здравствуйте!
    хочу настроить парсинг по сайту.
    Вот ссылка - https://www.find-org.com/search/all/?val=01
    Там когда заходишь - есть часть ссылок серых - недействующие организации, а часть - черные - т.е. те которые актуальные.
    Вопрос - как спарсить только ссылки на действующие организации?
    возможно ли это вообще? ума не приложу как это сделать...

    Быстрее всего спарсить через xpath:

    //p/a[@href and ..//span[not(contains(@class,'not'))]]

    Тестовый скрипт

  • fOrest94F

    Как обойти защиту Сloudflare и Incapsula?

    Поддержка
    0 Votes
    8 Posts
    2628 Views
    xclsvX

    @forest94 said in Как обойти защиту Сloudflare и Incapsula?:

    @xclsv said in Как обойти защиту Сloudflare и Incapsula?:

    @forest94 said in Как обойти защиту Сloudflare и Incapsula?:

    @xclsv Понял. А как тогда лучше всего обойти Сloudflare с помощью БАС?

    У меня нет большого опыта именно по обходу защиты Сloudflare, но я писал проекты для сайтов с этой технологией. Я не использовал какие-то особенные прокси или что-то в этом духе. Но из текущих знаний напрашивается стандартный набор советов:

    использовать чистые прокси использовать рандомизацию юзер-агентов, отпечатков браузера, возможно, профилей

    Все так и делаю: чистые прокси, фингерпринт, локальные профили.

    Если уверены в чистоте прокси, то больше помочь ничем не могу.