Попробуйте вынести логику на node.js. Это значительно ускорит сам парсинг, но так как работа ведется с переменными бас, не исключено, что в какой-то момент все снова станет медленно работать, так как бас плохо справляется с большими данными
Падает скорость
Moved
Поддержка
-
Ставлю на сервер проект с потоками 100, первые 5 минут работает отлично. Проходит 1000 строк в минуту, потом уже скорость жутко падает. Потоки не выключаются. В чём проблема? Как можно решить? Может есть какое-то обновление потоков через какое-либо время?
-
@marcelevinns Ищите проблему у себя, это не из-за БАС.
-
@fastspace Сервак отличный, не амазон.
Возможно ли как-то ошибки по типу:
Закинуть в ошибку, и перезапустить поток? -
@marcelevinns said in Падает скорость:
@fastspace Сервак отличный, не амазон.
Возможно ли как-то ошибки по типу:
Закинуть в ошибку, и перезапустить поток?Это надо делать проверку виден ли этот элемент, если не виден то ребутать страницу.
Можно закинуть в игнор ошибок и по условию was_error ребутнуть страницу.