@Foppy скорее всего в файле-задании строки просто размножены и не отличаются друг от друга никак. Поэтому баз при ошибке вытирает все копии строки.
Правится это добавлением в строку уникального идентификатора( порядковый номер строки или рандомный набор символов, который не будет использоваться в работе и будет стоять, например, последним в строке и не попадать под уже существующий парсинг csv строки).
В этом случае при краше будет удалятся только строка, которая была в работе.
Какое железо лучше подойдет для BAS?
-
Всем доброго времени суток.
Появилась потребность поменять ПК, на котором работает BAS. Хотелось бы узнать что лучше взять из нового? В задачи BAS входит работа 24\7 парсить сайты разные в многопоточном режиме же конечно. Понятно, что чем всего больше - тем лучше, но хочу совместить критерий цена\качество.
К примеру в магазинах имеется два вида процессоров INTEL и AMD. По всяким синтетическим тестам они схожи по производительности, но у одного 24 ядра, у другого 12 ядер, разный размер КЭШа. Что бы разговор был детальный вот названия процессоров: Процессор AMD Ryzen Threadripper 2970WX BOX и Процессор Intel Core i9-10920X BOX. Про оперативку тут тоже все понятно, чем быстрее, больше тем лучше. Само собой будет SSD. Влияет ли на работу BAS видеокарта или нет (имеется ввиду можно на ней экономить и купить слабенькую или надо смотреть мощнее - еще МОЩНЕЕ!?
Может я выбираю не удачное железо, то посоветуйте какое взять.
Если не сложно напишите конфигурацию кто какую использует в своей рабочей станции и сколько потоков одновременно тянет Ваша чудо машина. Для лучшего понимая данного вопроса.
Благодарю всех за внимание. -
Как вариант на xeon
Для затравки вот видео https://www.youtube.com/watch?v=OKIFkDq7M4I -
-
@Evheniu said in Какое железо лучше подойдет для BAS?:
и заметил ещё что процессор загружен на 100%
По возможности надо не давать сайтам воспроизводить видео, очень сильно ест процессор. Кстати браузер БАС вроде совсем видеокарту не использует, из-за этого еще наверное сильно ест проц. И да AMD я тоже люблю, линейка ryzen хороша )
-
-
@FastSpace said in Какое железо лучше подойдет для BAS?:
@Evheniu райзены 3000 это игровые процы, они не для BAS. Нужен theardripper. Он как один и Северный.
По соотношению цены/производительности они все рано вне конкуренции.
-
@UserTrue said in Какое железо лучше подойдет для BAS?:
@FastSpace said in Какое железо лучше подойдет для BAS?:
@Evheniu райзены 3000 это игровые процы, они не для BAS. Нужен theardripper. Он как один и Северный.
По соотношению цены/производительности они все рано вне конкуренции.
Нет, у меня 12 ядерный 2920x за 30к тянет 50 поток тяжелых с видео, а 3700x - 30.
-
@FastSpace said in Какое железо лучше подойдет для BAS?:
Нет, у меня 12 ядерный 2920x за 30к тянет 50 поток тяжелых с видео, а 3700x - 30.
Вот 6-ядерный Ryzen 5 2600X 50 потоков ютуба, видео запущено в режим воспроизведения.
-
@UserTrue said in Какое железо лучше подойдет для BAS?:
@FastSpace said in Какое железо лучше подойдет для BAS?:
Нет, у меня 12 ядерный 2920x за 30к тянет 50 поток тяжелых с видео, а 3700x - 30.
Вот 6-ядерный Ryzen 5 2600X 50 потоков ютуба, видео запущено в режим воспроизведения.
Ютуб не самое тяжелое, и воспроизвести видео и просто смотреть это тоже не тяжело. Когда греешь и все боты кликают и в разных потоках страницы грузит с видео там тяжело, кратковременно процессор подпрыгивает. Темболее я стараюсь не забивать процик в 100, там прыгает от 50 до 100.
-
-
А можно поофтопить чуток. Тут вижу гуру ютюба, вот вы мне скажите вы что полностью видосы проигрываете ? Это ж какой траф то должен быть?
-
@Bigma said in Какое железо лучше подойдет для BAS?:
А можно поофтопить чуток. Тут вижу гуру ютюба, вот вы мне скажите вы что полностью видосы проигрываете ? Это ж какой траф то должен быть?
Я просто так ютуб запустил.
-
-
@vvtex said in Какое железо лучше подойдет для BAS?:
@Evheniu покажи тему где два процессора BAS не видит?
Не видит, а работает хуже. Тестил по отдельности и вместе. Два проца не тянут столько потоков, сколько каждый по отдельности.
@Bigma said in Какое железо лучше подойдет для BAS?:
А можно поофтопить чуток. Тут вижу гуру ютюба, вот вы мне скажите вы что полностью видосы проигрываете ? Это ж какой траф то должен быть?
Безлимитный траф, в чем трабл.
-
@FastSpace а безлимитные прокси откуда ?
-
@Bigma said in Какое железо лучше подойдет для BAS?:
@FastSpace а безлимитные прокси откуда ?
С модемов.