Bablosoft

Объединение БД нескольких сайтов по общему параметру

Поддержка
  • teamgameT

    Доброго времени суток.

    Есть 2 сайта.
    С каждого сайта парсю компании, получаю контактные данные.

    Суть - получить общую таблицу без пустых полей (в теории) после получения данных с нескольких сайтов.

    Вот допустим после парсинга 2 сайтов получаю 2 таблицы (50 строк в 1 и 80 во 2ой), надо объединить их без дубликатов в случае совпадения 1 или 2 параметров (сайт или название).
    0_1511007233230_NVC8s[1].jpg
    Заранее спасибо

    supportS 1 Reply
    0
  • supportS

    @teamgame Добрый, все это можно сделать условиями и циклами.

    Быстрый способ решить любые проблемы с антидетект https://community.bablosoft.com/topic/12198

    teamgameT 1 Reply
    0
  • teamgameT

    @support спасибо, как я понял надо загрузить через ресурсы из БД циклом foreach каждую строку и проверять на совпадение, если IF - то проверяем на null и заполняем.

    0

  • A

    Связаться по поводу сотрудничества

    Moved Поддержка
    0 Votes
    4 Posts
    624 Views
    G

    Был их клиентом потом ушел
    почему ушел
    у AWM Proxy как оказалось лимиты на запросы к любым гугл сервисам
    и я даже не использовал их прокси для решения recaptcha-2
    а просто на сайтах которые я гоняю были кнопки для решения этих каптч
    Все более ни где там обращения к гугл сервисам не было, ну хотя может быть они файлы гугл аналитики считают тоже как обращение к гугл сервисам, бог их знает.
    В итоге мои скрипты работали только пол дня потом наступал лимит этих обращений и все гуд бай до полуночи.

  • N

    Объединение нескольких строк в одну

    Поддержка
    0 Votes
    8 Posts
    1163 Views
    FoxF

    @NickBAS said in Объединение нескольких строк в одну:

    @Fox поскольку в оригинальном тексте есть разделитель ";" и с обеих его сторон имеются переносы строк
    ("Привет"
    ;
    "Пока",
    между " и ; имеется перенос), то и при взятии рандомного элемента захватывается лишний перенос сверху или снизу текста. Нужно от него избавиться.

    Всё равно не понимаю. Я же объяснил, берёте исходный текст, заменяете переносы строк в исходном тексте на любой символ (который не встречается в тексте), затем в BAS получаете текст и заменяете необходимый символ на символ переноса строки

  • S

    Фильтр по дате

    Поддержка
    0 Votes
    1 Posts
    609 Views
    No one has replied
  • S

    Рестарт по расписанию

    Поддержка
    0 Votes
    6 Posts
    3075 Views
    S

    я в общем не нашел иного решения как: написал програмулину, которая висит в процессах на каждом из инстансов с БАСом, по pub/sub получает мессаджи мол что ей нужно сделать, например прилетел мессадж "restart" тогда она киляет FastExecuteScript.exe и все его дочерные процессы, т.е воркеры, а потом снова запускает в режиме silent. При запуске проект лезет на сервер и получает например уже новое к-во потоков с которым ему нужно запуститься. Таким жестоким образом можно даже удаленно менять к-во потоков на каждом инстансе :)

    а может ли кто простыми словами объяснить разницу между запуском FastExecuteScript.exe и RemoteExecuteScript.exe? Собственно в 2м случае происходит а проверка на обновление движка и при необходимости повторная компиляция проекта?

  • olegtutO

    Видеокурс по BAS

    Поддержка
    15 Votes
    21 Posts
    6858 Views
    PhoenixP

    Да, вменяемые уроки. Оригинальные видеоуроки по 2-3 часа с монотонным голосом вгоняют в сон. Главное : 1 фича - 1 ролик. А не пласты теории в которых копаться надо