@Fox Привет.Я описывал задачу в этой теме https://community.bablosoft.com/topic/27417/вызов-многопоточной-функции
Дело в том,что я не могу вообще никак перевести свой скрипт на многопоток,у меня тупо,что в вызове функции в многопоток,что просто обычный многопоток,выполняет свою работу с данными по очереди,а не одновременно.И это очень сильно бьет по времени,а нужна именно скорость обработки.Все уже готово и скрипт рабочий полностью,но скорость обработки заставила воспользоваться многопотоком.Ранее,подобных проблем не замечал,а сейчас элементарную задачу не могу уже несколько дней решить.
Скрипт очень простой и работает без браузера вообще,в скрипте используется только одно взаимодействие с гет запросом.Пример скрипта я приложил в этой теме(но без запросов),он точно почти такой же,как и основа.
Логика такова:
1)Запускается скрипт (без всяких ресурсов изначально и данных) и создаются два ресурса.
2)Делается запрос на сайт,который обрабатывается в отдельной функции,т.е. обрабатывает полученные строки и записывает в ресурс.
3)Вызывается функция в несколько потоков,которая работает (должна работать) с каждой строкой из созданного ранее ресурса(уникальной)в отдельном потоке.Данные обрабатываются и записываются во второй ранее созданный ресурс.
4)Как только данные обработаны,ресурс переводится в список и список записывается в файл.Более ничего не делается.
-Сперва я думал,что проблема в создаваемых в ходе работы ресурсах,но нет.Создавал изначально ресурсы и то же самое было.
-Потом пробовал брать из файлов значения\потом создавать файлы по ходу и из них брать данные\сохранять напрямую пытался и.т.д
-Возможно думал стоят какие то ограничения из за слабого пк с 4 гб оперативы и взял сервер с 64 гб,но как обрабатывалась строка за 5 минут на моем пк,так же по скорости и на серваке.Ладно, с этим я уже ничего не поделаю из за регулярок в проекте,согласен.Но вот перевести на поток и хотя бы по 10 строк одновременно обрабатывать,очень бы помогло.А сейчас в любом случае,у меня,сколько бы потоков не выставил - работает все равно как один,просто по очереди разный поток берет свои данные(
Отправка логов в хранилище
-
Сейчас пытаюсь найти что-то, куда я бы мог отправить запрос и потом зайти и посмотреть что я туда на отправлял
Проще говоря складировать историю логов или бэкапов. Ключевое, делать это бесплатно)))
Присматриваюсь к гугл формам, но боюсь вылезет капча и всё пойдёт не так как нужно
Если кто-то делал такое, подскажите сервис))
p.s. Свой сервер это круто но я не смогу обработать запрос без знаний языка и сервер платный обычно)
p.s.s ftp сейчас использую через cmd, но не очень мне это нравиться, есть свои проблемы) -
@fluffik said in Отправка логов в хранилище:
Сейчас пытаюсь найти что-то, куда я бы мог отправить запрос и потом зайти и посмотреть что я туда на отправлял
Проще говоря складировать историю логов или бэкапов. Ключевое, делать это бесплатно)))
Присматриваюсь к гугл формам, но боюсь вылезет капча и всё пойдёт не так как нужно
Если кто-то делал такое, подскажите сервис))
p.s. Свой сервер это круто но я не смогу обработать запрос без знаний языка и сервер платный обычно)
p.s.s ftp сейчас использую через cmd, но не очень мне это нравиться, есть свои проблемы)проще всего использовать гугл таблицы для хранения логов, а вот бекапы проще хранить на любом бесплатном облаке
-
@fluffik said in Отправка логов в хранилище:
@Fox Но там нужно ведь ключ разработчика вроде получать или как вести запись? Мб уже обсуждалось это?
@Fox said in google spreadsheets:
@oleg4ever Вот статья про api
-
@fluffik said in Отправка логов в хранилище:
Нужно чтобы длинная строка в base64 записывалась каждый раз с новой строчки, такое подойдёт?
Как напишите макрос, так и будет работать
-
@fluffik said in Отправка логов в хранилище:
@Fox Эх, если бы я понимал как его сделать))))
Могу расстроить, это ни чем не легче, чем написать простейший сервер.
-
@fluffik said in Отправка логов в хранилище:
@Fox Эх, если бы я понимал как его сделать))))
Это уже другой разговор. В таблице можно сделать вывод информации в любом виде, плюс с помощью формул считать что нибудь итоговое (количество ботов онлайн, время работы, общий баланс всех ботов и т.п.). Оформлять ячейки цветом для наглядности (например крассным цветом выделять бота оффлайн)
-
@fluffik said in Отправка логов в хранилище:
@UserTrue Я вот и ищу простое решение по типу гугл форм)) отправил запрос с данными и гугл сам сохранил)) Зачем фокс хочет заставить меня страдать?))
Чегось? Страдать?
Ок чё, ищите решение сами -
@fluffik как вариант можешь использовать бесплатные хостинги.
простой api с 0 написать можно довольно быстроеще видел специальные ресурсы которые предлагают в виде таблиц.
у них лимиты на запросы. бесплатные тарифы в районе 2к запросов
(недавно на хабре статью выкладывали со списком возможных полезностей)можно использовать облачные хранилища через WebDAV
при желании можно в виде писем организовать
можно сделать папку куда сохранять лог, а уже папку синхронизировать др. программой с облаком или еще чем
p.s. можно извратиться и установив на бесплатный хостинг бесплатную cms или еще что, там в редакторе делать таблицы. многие редакторы поддерживают создание таблиц
хотя проще создать приватный гит репозитарий и там так делать -
@fluffik https://cp.sprinthost.ru/auth/login бесплатный хостинг, подключаешь node js и заливаешь такой вот сервер
var express = require('express'); var app = express(); const fs = require("fs") const bodyParser = require('body-parser'); app.use(bodyParser.urlencoded({ extended: true })); app.get('/read', function (req, res) { res.sendFile('hello.txt' , { root : __dirname}); }); app.post('/add', function (req, res) { fs.appendFile("hello.txt", JSON.stringify(req.body.log)+'\n', function(error){ if(error) throw error;}); res.send('add'); }); app.listen(3000, function () { console.log('Example app listening on port 3000!'); });отправляется вот так

результат вот так

-
@artihorror только динозавр тут лишний и я бы сделал запись лога стримом + дата + можно добавить ограничение по размеру.
-
@artihorror я бы накидал тому кто хоть маленько напрячься хочет, а он прямо сказал, что дайте, чтобы сразу работало
-
@artihorror said in Отправка логов в хранилище:
@UserTrue эт, а что за "лишний динозавр"?)
Express )