Всем еще раз привет. Вопрос решился. Помог мне с этим Виктор. Короче говоря, каким то образом у винды которая ставиться на китайскую материнку есть ограничения в плане колличества загружаемых строк в бас. То есть. У меня были ключевые слова для поиска. Их был 1 млн. В итоге получается урезал до 150к Софт работает как часы. Может кому то пригодится.
Получается что китайские материнки имеею или слабую обработку или кэш или еще что то. Вообщем я не силен в этом. Но что то не так. Пока и так работает меня полностью Устраивает. Теперь можно крутить бас в 500 + потоков. Всем спасибо. Тему можно закрывать.
Установка/настройка/оптимизация Windows Server под многопоточность для BAS-са
-
Добрый день!
В этом топике хотел собрать АКТУАЛЬНЫЕ рекомендации по оптимизации работы под многопоточность последней версии BAS-са.Рассмотрим основное применение многопоточности на BAS-са: создание/прокачка профилей под SEO задачи.
Общие вопросы:
- Какой Windows сервер лучше всего заточен под многопоточность для BAS-са?
- Посоветуйте, какие настройки сервера, необходимо включить/выключить, добавить после установки windows на сервер?
- Полезный софт для работы с BAS на windows для оптимизации работы
a. Личная рекомендация: использую: Mem Reduct (очищать память по таймингу)
Похожие топики, которые возможно уже потеряли актуальность: Оптимизация TCP, Утечка памяти.
-
-
@JinMVP said in Установка/настройка/оптимизация Windows Server под многопоточность для BAS-са:
Windows Server Datacenter 2016
Почему 2016, а не 2019?
- Версия Datacenter сильно лучше, чем Standart или для BAS-са разницы нет?
Disable firewall/windows
2. Имелось в виду отключить Брандмауэр Защитника Windows? Еще что-то?windows defender
3. Оно?search index
4. Оно?
@sergerdn said in Установка/настройка/оптимизация Windows Server под многопоточность для BAS-са:
Я отключаю AV
- AV - антивирус, который идет в комплекте от Windows?
@sergerdn said in Установка/настройка/оптимизация Windows Server под многопоточность для BAS-са:
Иногда могу перенести скрипты и временную директорию на RAM диск.
- RAM диск - это оперативная память сервера?
В каких случая вы переносите на RAM? (к примеру если сервер на SSD NVMe актуально ли это? RAM 128 гб)
Благодарю откликнувшихся за ответы.
-
@tartaria said in Установка/настройка/оптимизация Windows Server под многопоточность для BAS-са:
AV - антивирус, который идет в комплекте от Windows?
да
@tartaria said in Установка/настройка/оптимизация Windows Server под многопоточность для BAS-са:
RAM диск - это оперативная память сервера?
да
@tartaria said in Установка/настройка/оптимизация Windows Server под многопоточность для BAS-са:
В каких случая вы переносите на RAM? (к примеру если сервер на SSD NVMe актуально ли это? RAM 128 гб)
При интенсивной работе с профилями - копирование, перемещение, etc. Так как я отключаю в BAS кэширование профилей. Исторические так сложилось, что у меня есть набор техник, которые я использую с незапамятных времен.
-
@sergerdn said in Установка/настройка/оптимизация Windows Server под многопоточность для BAS-са:
При интенсивной работе с профилями - копирование, перемещение, etc. Так как я отключаю в BAS кэширование профилей. Исторические так сложилось, что у меня есть набор техник, которые я использую с незапамятных времен.
Для меня тоже актуально. Сейчас настраиваю Windows сервер, на котором планируется создаваться 30к-40к профилей в сутки для работы с ПФ под Yandex. Имеется 128 RAM.
Каким образом это можно подключить? -
@tartaria said in Установка/настройка/оптимизация Windows Server под многопоточность для BAS-са:
Каким образом это можно подключить?
-
-
@tartaria said in Установка/настройка/оптимизация Windows Server под многопоточность для BAS-са:
Вопрос еще возник, запущенные копии периодически "разбухают" в размерах.
Размер профиля можно ограничить, как минимум файловый кэш.
На одном диске хранилище профилей, диск со сжатием для экономии места.
Профиль копируется на RAM диск перед использованием. После использования перемещается обратно.
Можно перемещать не весь профиль целиком.
-
@sergerdn благодарю за ответ!
Подскажите, пожалуйста, как работаете с БД профилей? Есть ли какие-то моменты по оптимизации?
Сейчас арендую postgresql на timeweb, но периодически отваливается коннект к БД (взял на скорую руку).
Думаю арендовать vps на hetzner и там поставить postgresql +phpadmin (для базового администрирования) + нужен какой-то интерфейс, который будет показывать статистику нагрузки на базу: сколько коннектов, какая нагрузка на сервер, оперативную память - пока не нашел такого инструмента.
У timeweb все это уже идет из коробки, что удобно, но стабильно работы БД оставляет желать лучшего.
-
@tartaria said in Установка/настройка/оптимизация Windows Server под многопоточность для BAS-са:
Подскажите, пожалуйста, как работаете с БД профилей? Есть ли какие-то моменты по оптимизации?
Вопрос не понят. Обычно профилирование и оптимизацию запросов проводят после того, как скрипты готовы и есть нагрузка на БД. Там сразу все и выясняется. Ну и минимальный опыт нужен да, чтобы не наступить на грабли, на которые наступили куча людей до этого.
@tartaria said in Установка/настройка/оптимизация Windows Server под многопоточность для BAS-са:
Думаю арендовать vps на hetzner и там поставить postgresql +phpadmin (для базового администрирования) + нужен какой-то интерфейс, который будет показывать статистику нагрузки на базу: сколько коннектов, какая нагрузка на сервер, оперативную память - пока не нашел такого инструмента.
Думаю, что обсуждение мониторинга состояния БД и сервера, где он стоит, несколько выходит за рамки этого форума. В интернетах куча инфы и есть свои специалисты на этот счет, с отдельными навыками. Я не являюсь таким специалистом, а обладаю лишь базовыми навыками администрирования.
Есть стандарты мониторинга - prometheus, grafana. Но разбираться не советую, уйдут месяцы. Рекомендую искать любой SaaS сервис.
- https://www.datadoghq.com/dg/monitor/postgresql-dashboards-benefits/
- https://pgdash.io/(нагуглил только что, не теме, что это)
@tartaria said in Установка/настройка/оптимизация Windows Server под многопоточность для BAS-са:
но стабильно работы БД оставляет желать лучшего.
Если нет опыта работы с БД и нет опытного человека, только SaaS. Будет дорого. Выбор есть. услуга называется managed postgresql. В гугле куча ссылок выпадает.
Когда-то делал хранение данных профилей в https://www.mongodb.com/docs/manual/core/gridfs/. В принципе, нареканий у меня не было. Но там куча своих граблей. Нужен специалист по БД.