Всем спасибо. Решилось выставлением нужного заголовка + предварительно загруженной десктопной версией сайта (если просто загружать по всем вариантам, как описано выше, то выдавало ошибку, без понятия почему)
Раньше у меня не возникало нужды в парсинге многопотоком и я не заморачивался над этим, но теперь он мне понадобился и я решил спарсить юзеров в многопоточном режиме и увидел, что все потоки парсят одних и тех же пользователей....
По идее же должно быть так:
Первый поток парсит первого юзера, второй поток парсит второго юзера и тд...
А у меня все потоки парсят одно и тоже.
Как это настроить?