@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Непонятный параметр в отснифаннм запросе
-
Пишу вход на сайт, снифнул post запрос. Содержимое:
Method: POST Cookie: __cfduid=d304a76534c082c8d6a2d045f6e4d47041527458736;dev=c8hgGNqeqmAQpRa0Co4JhrscWiUn9HqqKH4f2wPZaL0;SESSID=lmJjAzuloYd8VSYiPzPcJtAnkV0 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8 Origin: https://www.kraken.com User-Agent: Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36 Upgrade-Insecure-Requests: 1 Referer: https://www.kraken.com/login Content-Type: application/x-www-form-urlencoded Accept-Encoding: gzip, deflate csr=f55LADs2TY07YvBamqWvx35FxLucJz2KjTC2GYX6KGzxvl99TCMkQ0VZKJy81lI2Wp8v%2FIMfs0P%2FzHcxADyq%2ByCQCuysvf6%2Fe3Rd5CL0U50bH2s%2Ft2EGRO696D6EorWGdkQpDo%2FaOmJAvPqKhOjvllmvn8KMmwzdo7NFwQ1U520FqujjDyPsuWbYQ5UZ%2BuLakNGAz7Uq2C79ADOxHAVUw2hNvl12MgX647%2BICaNO9CCDOdBA9JAaXyRoQF%2FzPj%2Fzrx7WzAp8m7nRt94MSFRVcCuRjL54wgZYxNrgDFpVvUB72DnNh0i%2B96FZzP%2BGbxBLWcdOHPWmLzdG5BwhislFBswFJB7CPaxYsfP4FB%2FVlfpWLnCjHJNwRwH07tyAhlJjdvUe52mxH%2FFhdODUXLUiYX4SEGMuUpTbVJV6nzSrChk3mZ6oohpdvdOxo%2FhpOk1Aw3%2Bp6ENVqJeDkRVJhkB8jEoU4Syhj7P0mOm5tL8L%2FNko6B8oEDrecIa3NWd4%2FWkFnMhmqIor3gdPnLJABzlBWEPsc7im7sf5mQajXDeiu7PkBa8Hhi8pcyS0PCwg%2Bkkn%2B5huUDoFjXQ%2BLqEVlKnJ13y3%2FSup0Ehoa1Sc3fKV%2FHsjA4Y3TAAUwhrBHrGxl9UO7x32eI5LgzGIhWaKJ9a3ifETZaSNdeF7IwAue%2FyKr5L5hpCF%2BcUfys2WZbuKkf47cGg%3D&username=dajeyay&password=NjkrtyF1&otp=С username и password все понятно, а укак узнать какой скрипт на сайте делает параметр csr?
-
Я знаю что это https. Мне нужно понять как генерить этот параметр csr, что бы эмитировать post запрос. Потому что иначе не получается войти.
Полагаю что на сайте он генерится посредством скриптов, вот как мне вытащить этот скрипт и разобраться что он делает??? -
Параметр csr есть в самой форме, но он пустой изначально, если нажать на кнопку Login, скрипт его подгружает / генерирует в input в форме и отправляет форму.
У меня нет под рукой снифера чтобы глянуть нормально, возможно он запрос отправляет и получает csr и его оттуда можно взять. А если нет то в скриптах стоит искать упоминания его + события нажатия на эту кнопку входа.
Возможно, если получится остановить отправку формы сразу, то спарсить csv прямо из формы, оно там скрытом поле появляется.
-
Ага, действительно так. Только проблема, мне нужно использовать запросы а не браузер.
-
@gaget007 said in Непонятный параметр в отснифаннм запросе:
Получаете страницу входа гет-запросом, парсите из него csr регуляркой и далее свой пост-запрос
Так вот именно что в исходном коде странички нет такого. csr.
-
Ребят, может сказки говорю, но случайно не может быть девелоперских токенов подобно параметру csr? что бы с этим токеном пропускало.
-
Вряд ли, смысла нет.
Что могу еще посоветовать.
Вместо того чтобы гемороится и разбирать алгоритм как он генерирует токен можно поступить по другому.
-
Написать функцию именно авторизации в браузере, получить и сохранить куки а потом использовать уже их в своих запросах, если там внутри конечно нет токена. Или вообще делать все в браузере.
-
У кракена есть api https://www.kraken.com/help/api, не знаю что ты хочешь получить от него, но возможно это может решить проблему.
-
-
Блин, второй день бьюсь. Есть еще варианты?
-
Апи я бы рад юзать, только сначала авторизацию нужно сделать.
-
То есть у меня остается 2 варианта, либо как то забирать этот csr запросом, либо брать этот скрипт (https://www.kraken.com/dist/8446bc272a5f9815.min.js) и в базе его обрабатывать через выполнить скрипт, да?
-
кто поможет с решением проблемы, заплачу!!!
