@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
как спарсить такую строчку? я просто в недоумении))
-
#EXTM3U
#EXT-X-TWITCH-INFO:NODE="video-edge-ec86d0.hel01",MANIFEST-NODE-TYPE="weaver_cluster",MANIFEST-NODE="video-weaver.hel01",SUPPRESS="true",SERVER-TIME="1600206400.00",TRANSCODESTACK="2017TranscodeQS_V2",USER-IP="217.66.154.76",SERVING-ID="884a9bd767af43a99b2fe378a7a485ba",CLUSTER="hel01",ABS="false",VIDEO-SESSION-ID="3981057214772120766",BROADCAST-ID="621427842",STREAM-TIME="2806.001114",FUTURE="true",B="false",USER-COUNTRY="RU",MANIFEST-CLUSTER="hel01",ORIGIN="lhr05",C="aHR0cHM6Ly92aWRlby1lZGdlLWRkM2ZmYi5wZHgwMS5hYnMuaGxzLnR0dm53Lm5ldC92MS9zZWdtZW50L0NpaURZdnZ3ZG56S0RURTI4LWU3VVY2WThUOHpkYkJTNEQ2V0hEZnNNQURmX01jNTJaemxUeWMxS215NkxtVmF0eUl6ZFlmcmd6TzRiNDlmZnh5UENJS1ZuNDROZjZTQU1tQTVGZUNmYzZhTmxWZHJ4UTFGcDF0NDAtSzBURlBMNExKd29LQU10aGJ3VE44MXVHbFUtN3QzNm0xWmszdUV3WHdFT3JnM29YSXhUOXZpTjRzNmM1b3VLMUJ3dHduUW1BYk1KYllLTVVCNFl2d3NuY2piWWpZek5GVy1VTHZLUkozNkdQMWpCdlYtYWVxbFVTajc3VkczaklYTEFMSGc1QWJJaWZ1a3hydHNpVEtKLUVNZzRfcU1qLUFCb1VpSm9ZNXVZNHRrY2xwZFhLUWhrWkx0UjhiZnF2YWgzWHRWdmU1NVI4Unc3N2JFNTBoekR0UVc0X2RrSVJubElzRlhoT29XWGgwSWNHeEVvWFhlSVRKTkZIMWNybHpLUmJJYlZfd1JzbGY1dXl4T3F6UV9tdjVLZDFoazZGNHBNLXo0ajFpSnA3cWZIOXNzWF96eHFvTzVZenpfZmFpMUwxWG5UMzJBWWRhMEw3U2E4UDJDa0lWOHJKa25LYmVjMlk5SVl5RDdUV25sa0FSelp6VXZPdWQtUXZrMGVVU1BZdXZ4akhuS3VyTThBZ2VldWk2R3Y4dXlkd0RCd3QtNjlzcWZLVHFpTmlEbndnbWJrNzJzZVRGRFpPbzdVRHMzMzJGMlRza0JaSGxUaUpZUFZVZU9aM3Fub0tnTlAtZ0x1bVhrTEl1VC05S2pQUkt3VkFQelB6WWhjNDlNbWtRaTltS284Q2JQVFNLenhTb0ZUaUlneC13c3c5eGYtZ3lkWkoxZW1aQ0VBUHpCYVFRWk4tdVFNaDFsVmtUZkNId2YzcGRaajZRcmdqU2NHYjBKcVVMRnBBaE9OUFRtTTZCY1p4TFQ4UU9LNkVyQzFhallvWlh2dXBTQ3IudHM",D="false"
#EXT-X-MEDIA:TYPE=VIDEO,GROUP-ID="chunked",NAME="720p60 (source)",AUTOSELECT=YES,DEFAULT=YES
#EXT-X-STREAM-INF:BANDWIDTH=3780887,RESOLUTION=1280x720,CODECS="avc1.640020,mp4a.40.2",VIDEO="chunked",FRAME-RATE=60.000
https://video-weaver.hel01.hls.ttvnw.net/v1/playlist/CqUESWtY7dkd219nzC-jLNZ0gUebur0SRKyUreB6jwMeZUQsOqOhXcNokaMzrse4Jn9lfq8Fo2rK_OlBlTe9LpoYQgvm3M7P5s0GZrBrYnIkKAQCiVhENSMnzjBCfTTu4dUK3LZxCsMEzvsIQzPF5aLd98Y9KuIbw_ua8EI3_mSIij-XPYDhFOfHgNn3Pzfz8uW3945wwuHQtFfkvfqc93gsxWQSDbOXrw6DpCeA0QvJUMq6tlrjmadCW1t9mYeXCIeER-jd8dhQU8BXbRWQBJCKvCmHb6oWM6PjgHLhxd5rvCAPLVZB0ewJ40o0P6nBebUBPQzeiSxKloNF4-IsMHpLfkWBQ8-XchsogT-lHSFWKxV49Z5oj-45H_zcvhM6J1kFo1at6AIYMnHszQQGIixYfax9bZx2l3YGojP9XVm3rfgyHkFgLlG8XIIfQ_P2xGtSwrdhRp_sMPbMrzoLga5uoarfXT06jU5OHlTIueDFjrB4fkJJCIYqpVbpL7S5k79Yx2gYW-KdKu2BCr3TN3O_Njse0_hSqXAHCBOL2CXV9TBmbf4cuAJl6GbJyoEpZDqENdRv_cvPktQ9xRbMNwToeZ7o-s0GirmyNZbqrB0IT0VTOKyJudGAO2poe1tD-78saPmvvsN4-XExQyVuHCNbGgkV60l-Bmc4Uty7yDbfrJCMCBduAT9wxZkwhj1VaT07GBcr02iCILXdHqGiiKrInIO_pOYMEhBClWE2ccU6TnpX19Di_XM7Ggy_CLMy7OSuynaiy_A.m3u8
#EXT-X-MEDIA:TYPE=VIDEO,GROUP-ID="720p60",NAME="720p60",AUTOSELECT=YES,DEFAULT=YES
#EXT-X-STREAM-INF:BANDWIDTH=3424349,RESOLUTION=1280x720,CODECS="avc1.4D401F,mp4a.40.2",VIDEO="720p60",FRAME-RATE=60.000
https://video-weaver.hel01.hls.ttvnw.net/v1/playlist/CqMEc_f7Q6NAxEbxpVJ0BHaEDAEQ8MuIIoOdnOZ-F-kOJYBfes7tdXRvGeextVg7aSP_FgKMO7lz8KaftUlhWVcs8NY3rCuEfsHFWkeyWnNj-WbLIX7iAMpnBy-sK4rCLeVsKvaW9gKaEwhA-3V6A5dCsrpr0zZwLBdzne5u1qhoqIZ64B37BQCq7gfaF6LPsnR0VyGpwn6ICg3apDkmRcKxqxnFaltqjybCVlehdkPfruHNigr0k_uGAo0dQoYBiTC2NPpKGkqDoO8J02v-8lr6kcHVMTmDDW5WrFZV3L-FfPBXq6XCba6JiRXxJIxxldBXtu2Bay-iegSYrkdJSVJ27Go7Sx5VrTKhcx4BBT5EiFj9t4D--4jNzkdMzaVmVp8bycIvlViP3pMgAlfMTm_OVG_U4H9HCD_XSxEvuqwkhGwie2BpVry0eKYQ1jjIAHbPKzDApNoKIW4TyJPTst9ibN5BjIopdb3fws96EFCVNPscmfqBRuMioAXZPc1Re3jPr0u9J7rtlnnz1Km1Hl4klGs0J157ybIuCVK5qQNA896KQCGpfXTFKos9dYKHWRZ3-BS9J9oHs3-X5je5ZbpASn_qud_vxz6rG8hgVTQhLerqTitXRrEIABhafdg0Dvig8X_znq_i4qlTGSNjNmCN-MADtrAfYO_H1VJkGj5zP2CfLz3xQd3TCwTxIVtXgJsDyUDnrGE213mlIOIvIuvL-DO9RxIQlyqLlkrqdKaixpydjibdxhoM9TRCOJl6S67vvZyH.m3u8
#EXT-X-MEDIA:TYPE=VIDEO,GROUP-ID="480p30",NAME="480p",AUTOSELECT=YES,DEFAULT=YES
#EXT-X-STREAM-INF:BANDWIDTH=1429349,RESOLUTION=852x480,CODECS="avc1.4D401F,mp4a.40.2",VIDEO="480p30",FRAME-RATE=30.000
https://video-weaver.hel01.hls.ttvnw.net/v1/playlist/CqMEKNk2djbSJJd46zb9YqaZ48zEfY4pju53bELosAePTYGq1iHgduMD8EG1D2o0lhHu8CaHyhvpEJ3hgBN2QWYbJWDxGVenCpergMm_defFnXNSpYYih85qEAdDu41XH_USj33GmTrKI9W7zXmviJadKCeoRZJF6tFjtS88q3MHcFCEqzT2XwIuHFjHpA1nxpyLYNW1FG4hStrFlAojFSlJWn1vqwbIaSAqcjnCH0iCcwmb4W3E0yKnwRIvVRjxHh-QVzj3WUupQwYN0Ibcgk1hJZNfhPsPpg7k0DHUEhbTtxWx1zkY8LymJHMiGDVERwlp_5MyEI676QuHeacw55P2TH9iiMBH4qPP2ervwXhucwVFfnb9xl2LTqW940DCT4GUAKLIu6hfqcjNwPFNJB0srJIYA1VnunAUuVocYyhe2ddhFRdIl_rUVaYTusTIyPvtsaLx-KUnEaizVopMqlU9gU7NPSX0BYJvig4eQWvL9_Ie-dIbLTTfqoAfzKoYQdhA9GLlYwBiWBLFVr8O0oUCG-cLerHG9fuELqY3AtooFZgSP-sdNqzPKgKtMPvqajM0pRwqLNLYgm0L3oWQ6WGFtgrZqVuPsXu-7K5i6vXUCr25vZbsGYLEz-jbrSYpGfxNZICJRHkaUOnSjzxMOOjflrx6a8C9Ch3u4Y9Nx9WQ144pZZzldeK7x-JpkTOoWjpFEc_YbK7lCODLLQOJWO1KKo1Q7BIQzIc7929b7Wa5YKjg5HwAWRoMArE6zvmkQJkj2nDG.m3u8
#EXT-X-MEDIA:TYPE=VIDEO,GROUP-ID="360p30",NAME="360p",AUTOSELECT=YES,DEFAULT=YES
#EXT-X-STREAM-INF:BANDWIDTH=630000,RESOLUTION=640x360,CODECS="avc1.4D401F,mp4a.40.2",VIDEO="360p30",FRAME-RATE=30.000
https://video-weaver.hel01.hls.ttvnw.net/v1/playlist/CqMEvZ6r_HOcu-ontGr73cxLVELB1R13yBIPLKtKL-ptSrfSQO294xp4q_Oqx2rEqlAdND_z4fvSRk7zaZIpMCx-spvRUfUGbPHqjJHkRlRQPTuiJYeF3QxLsV5lfX1r3fL9QMRg943BXvhJbYFmb0oEEI65JYXT-yZYNZ1wVJ0x8bofARJYZSGQIbwVva033Fu8cB4LWAlMy8B2jBL8T-7XDMFwW5PlcqLFlkKe-5YxziJkRBa62SZ95VAQgYJyOIXH8Z1KeKErymTJ3Cyel_QBJOmqNRPHwIskv3xwbchRHF6GHjcVEbLum0WI437VIC31C1cA-PGPsZQ1xf498pilVGmYh7tbm2YbjfN7eQZ4Eb4uxX4r5Buam0y1pvpsC0LmCAqRBJW_2tp9P5nB9rdtE6nmvQmjlb97y2tKsCP5Y38lSJSNURa_5euITIGwAibemmQi9UoQijeU_HJbg0FL-QUhNX_0uHto8n__ehJbV-zSMMhd6kOnyvSZ0-6Ace1_Q2bHfRBIx3NU77JpNFJpZOBZXK6onccBt4sV0JIl1sm4HjZ9BcJtQlgT5eB_ZsCipJWk74z98M18d37XwJKOddcDnKatFCMxwq5PUqVG7UW5pNMLZ2N_b1WrdAxcUO6vrmpjHCGrZoUGwjQf2J__zN12VDnB-wIsnZqpHofWBwjsKwnvGX8f2eOlPW-P7H6b-vQ3IrNqv49P9ekVfFcTTn4KGBIQtaVH0AY3NY5jTvXaEQ3JrBoMr5lpVBoLHHegJw2Y.m3u8
#EXT-X-MEDIA:TYPE=VIDEO,GROUP-ID="160p30",NAME="160p",AUTOSELECT=YES,DEFAULT=YES
#EXT-X-STREAM-INF:BANDWIDTH=230000,RESOLUTION=284x160,CODECS="avc1.4D401F,mp4a.40.2",VIDEO="160p30",FRAME-RATE=30.000
https://video-weaver.hel01.hls.ttvnw.net/v1/playlist/CqMEAgfLNhly9nwVySSK72QxfXH30bpzFKvAPZHy_rHsskjPq-BYqIVzyB-UnfGtDnyc8I3uql3S4ezQAD3zDx5JFAcLiJGghum8FJpU5wFSW258WOLlCb3rP0SAKaBO2lFW1u_UnV0rs84bVEwCaBsji-ofzVDE1vzScEW5o_EFNLX5eK5Z30t2P5xm4BtTpWcnxxPaKvgo6LTkHkSMWYnrgaWe74_79X15yHL8KqkQd-dxVMtq3mdbXqRNEph031vJZdp6GnpKHbAjJI7XnUb-FBcYvV7aqnP2esI2o5MU9vNIiRs0we96FK_SwuUPIkVRV9R49kseECAgDPpkG7FUWX9gRNJd5aloXsaB5U8YmyBCWH5jbFeRb8S0VNnPX8sH3goItYEib8ItnbvZzWG-BpLvCC5JmSIzzm9lXWDxry8leSrUwq4Y6-wG-uezMCyuDm_Z8OIzXbvbMHqVFlQVFv6DSZrp-YTg98LjYWgdrfGO8y_BMZBwV0aBrVVM0U98IUjqDtUJWOXxFuHqpPoT_wV912shyJ4tZe1afnINbgoZz0OJZqXdBkqbBKSTMaW9P4Gzn9PRTaEvUpJcM4pu1RG9z9W-nkcsPxd2QgN1GhamF-II6_D6NG_ZPIAIfh1QkYb9-M_dL91z8taFPW9xunGTBhT0jnnCSDwzvKjN6FL4V_kSoVAjpWiRLPjP00mN2zIc4eQn7UG96U8-q22Jkqme0hIQHQ6OWUA851eiCwPPMMCk2RoMy1TAS8xJs7aVa9f2.m3u8
#EXT-X-MEDIA:TYPE=VIDEO,GROUP-ID="audio_only",NAME="audio_only",AUTOSELECT=NO,DEFAULT=NO
#EXT-X-STREAM-INF:BANDWIDTH=161285,CODECS="mp4a.40.2",VIDEO="audio_only"
https://video-weaver.hel01.hls.ttvnw.net/v1/playlist/CqgEaGae4Y6pVNTlT1cveWUuoK2PdVDSNZLaR8168Lby9YNCiekm6V4uTju79t29Ew9cHTq2XIZEU7PJrZBBWPWPKdu2JW2LjtLjhvR-hfEwYqZRbbQ-z7YP5tTAxROOwG5PHF-gKYE2wn_vXAKdmT5gjB-OohyIOwGTKCfho4oqaTg-fFEm-4vxbVD0U0jQLliKbqdQtOL1REHo4j_TyaacezmxF6lCvjd00ekkvbrVCgYa0pWkULU0RWNxqJ2aMIseUb_Y_9d6oBYx2rs0UMyaev2wiWlDg37rfhbfzK93lX7RulU6fyc_W6vzHuaiWDeKhPOLxIUcic600zf3y20Vx6GJYT1F9tYQGlETUY6smM6MRYZvd-A0VG5NHw9GjaXxlL20mhsehVuGzZmLdwv4TYNAzEoqI1fbrROBwUqwS_jq95KTwRVFB2ra7bovbOO4-RWlv81TJ8OoWizvgNYp09T2hPTy62zkrw-FdxBkbvZmzGiyTSC96s1iA_XKCuNUd_vjFejQmiYQs_zUDcSvtkifV3XHPH08HkMuR0z8Y-J8k3dc3Snf4TuZ3uo57noh7pdqHtQyeuSzpYgUEaD3h2Tu9ssF59lY_b7P5QHciLoNZO6X9R5jMMPdFPAjH3bUocM9kLcbVu4fw84L8mZj71D0qiDohY7Watm8thGVNrw9HU3-wdW2KVsbPVN9mNEiScw2wh-aiHL3pMqHZLv_sVkW7NgVfT_sEhC8lPztzvNyMQxuhhQIuvvSGgwJGexZvq880pjBesQ.m3u8 -
@Batron said in как спарсить такую строчку? я просто в недоумении)):
Пробуй регулярное выражение
[\s\S]+VIDEO-SESSION-ID=[\s\S]+(https://video-weaver.hel01[\s\S]{10,1000})[\s\S]{1,10}#EXT-X-MEDIA[\s\S]+
-
@Kingstreet06 said in как спарсить такую строчку? я просто в недоумении)):
[\s\S]+VIDEO-SESSION-ID=[\s\S]+(https://video-weaver.hel01[\s\S]{10,1000})[\s\S]{1,10}#EXT-X-MEDIA[\s\S]+
спасибо, вроде работает проверю на деле. (делаю скрипт для накрутки твича).
-
@Kingstreet06 нет если с другого ip например американского то строка парсится не правильно(. С моего нормально парсится
