BrowserAutomationStudio 18.0.0 has been released | Выпущена 18.0.0 версия BrowserAutomationStudio

[support]

@blackhacker Вы перегружаете БАС после редактирования схемы?

http://prnt.sc/esf8qz

[support]

@blackhacker

Без базы - без ресурса с типом "База"? Он в проекте не используется, там через "действия" сделано. А данные из базы, на которой проверял, я скинул.

У вас не было схемы базы в проект, в этом причина того, что база отваливается.

[support]

@blackhacker

А с типом данных date как сравнивать? Точно так же, два числа?

Да, Date.now() конвертируется автоматически в дату.

[blackhacker]

@support said in BrowserAutomationStudio 18.0.0 has been released | Выпущена 18.0.0 версия BrowserAutomationStudio:

Это означает, что проект был как-то не так сохранен. Какие действия вы делаете чтобы получить такое?

Сейчас прямо так и не вспомню. В следующий раз постараюсь запомнить. В последний раз, когда это было, создал проект, проверил его, вышел из BAS, затем решил перепроверить, запустил снова, нажал на зеленую стрелку, чтобы запустить проект в режиме запуска, и увидел, что что-то не так. Зашел в режим редактирования, посмотрел действие, где выполняется "Получить записи", обнаружил, что фильтр пропал, при создании нового таблицы не отображались. Вот тогда я и зашел в базу, чтобы посмотреть, что не так. Там обнаружил, что "База не работает", и можно только заново создать. Все это было во втором эапущенном экземпляре BAS.

@support said in BrowserAutomationStudio 18.0.0 has been released | Выпущена 18.0.0 версия BrowserAutomationStudio:

Вы перегружаете БАС после редактирования схемы?

Да, либо сначала ОК нажимаю, затем выхожу, либо "Перезапуск" сразу нажимаю.

@support said in BrowserAutomationStudio 18.0.0 has been released | Выпущена 18.0.0 версия BrowserAutomationStudio:

У вас не было схемы базы в проект, в этом причина того, что база отваливается.

Не совсем понял про это. Я думал, одну базу можно для разных проектов использовать. База ведь никак не привязана к проекту.

[Fox]

А подключить уже существующую базу нельзя? Ту же mysql?

[support]

@blackhacker

Не совсем понял про это. Я думал, одну базу можно для разных проектов использовать. База ведь никак не привязана к проекту.

Если бы было так, 2 скрипта, которые используют базу не смогли бы работать, так как данные бы путались.

База привязана к проекту, но скрипты могут взаимодействовать с одной базой, если у них в настройках одинаковый ид.

У вас проблема в том, что в проекте удалилась структура базы. Не знаю, как это получилось, возможно вы открыли другой проект, и не скопировали туда структуру, первое время база работала, так как соединение осталось с предыдущего запуска.
Почитайте туториал, там написано как копировать структуру базы(в самом конце).

[support]

@Fox > А подключить уже существующую базу нельзя? Ту же mysql?

Нет.

[blackhacker]

@support said in BrowserAutomationStudio 18.0.0 has been released | Выпущена 18.0.0 версия BrowserAutomationStudio:

Да, Date.now() конвертируется автоматически в дату.

Поменял тип данных на date, в базе везде стала прописана дата в виде 06.01.2000 0:00. Как же мне тогда выбрать определенную запись, у которой время, указанное в last_time, меньше определенного значения? Вроде с timestamp же удобнее, я всегда так делал в MySQL и php. Правда, сейчас неправильно работает фильтр, и не могу выбирать значения. Даже если ставить фильтр наоборот, который, как я думал, работает, он выбирает одно и то же значение.

[support]

@blackhacker

Поменял тип данных на date, в базе везде стала прописана дата в виде 06.01.2000 0:00

У вас раньше было время в секундах, а Date.now() возвращает в миллисекундах

[support]

@blackhacker said in BrowserAutomationStudio 18.0.0 has been released | Выпущена 18.0.0 версия BrowserAutomationStudio:

Как же мне тогда выбрать определенную запись, у которой время, указанное в last_time, меньше определенного значения?

Ну точно так же сравнивать 2 даты

[support]

@blackhacker https://bablosoft.com/distr/BrowserAutomationStudioDevelopment/18.0.1/BrowserAutomationStudioInstallAllInOne.exe

вот версия с фиксом, там и фильтр по числам работает.

[blackhacker]

@support При использовании базы начал вылетать скрипт.. Время, после которого вылетает, зависит от количества потоков. В каждом потоке по мере надобности делается запрос в базу, затем сохранение (не чаще одного раза в 2-3 минуты на один поток, запущено 40 потоков). При 25 потоках не вылетает.
debug.txt (если нужен): 0_1491373900740_debug.txt

[blackhacker]

@support Не все данные корректно экранируются кавычками. Если хранить в базе юзер агенты, то при запросе в базу не все из них парсятся правильно. Даже при экспорте базы данных в csv видно, что не все строки с user_agent заключены в кавычки.
Часть данных из файла csv:

Из такого скрипта

получается такой лог (лишнее убрал, первые 2 итерации цикла в логе правильные, остальные - нет):

[21:33:15] Поток №1 : hash: 3761e5c4733742374ba4795bb2ae7f72
[21:33:15] Поток №1 : user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0
[21:33:15] Поток №1 : random: 48
[21:33:15] Поток №1 : id: 58e519e4c4886f2b124c1186
[21:33:15] Поток №1 : hash: 9418a90b1841d8b81b0c3b2a95ca70d3
[21:33:15] Поток №1 : user-agent: Mozilla/5.0 (Windows NT 10.0; rv:47.0) Gecko/20100101 Firefox/47.0
[21:33:15] Поток №1 : random: 36
[21:33:15] Поток №1 : id: 58e519e4c4886f2b124c1187
[21:33:15] Поток №1 : hash: afa4cce83ea3fb758e268844233a672b
[21:33:15] Поток №1 : user-agent: Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML
[21:33:15] Поток №1 : random:  like Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.10240
[21:33:15] Поток №1 : id: 45
[21:33:15] Поток №1 : hash: 8c27b0d66a7ea6cec5dda9979cc92bd3
[21:33:15] Поток №1 : user-agent: Mozilla/5.0 (Windows NT 10.0
[21:33:15] Поток №1 : random:  Win64
[21:33:15] Поток №1 : id:  x64) AppleWebKit/537.36 (KHTML

P.S. баг не критичный, но все равно наверное требует исправления.

[support]

@blackhacker said in BrowserAutomationStudio 18.0.0 has been released | Выпущена 18.0.0 версия BrowserAutomationStudio:

При использовании базы начал вылетать скрипт.. Время, после которого вылетает, зависит от количества потоков. В каждом потоке по мере надобности делается запрос в базу, затем сохранение (не чаще одного раза в 2-3 минуты на один поток, запущено 40 потоков). При 25 потоках не вылетает.
debug.txt (если нужен): 0_1491373900740_debug.txt

Я пробовал добавлять запись и делать запрос в 100 потоков каждую секунд, вылетов не было.
0_1491760652487_dbbb.xml

Можете приложить минимальный проект с ошибкой?
Это происходит только после компиляции или в БАС тоже?
Также есть баг, если убить процесс монго, бас тоже упадет, во время падения у вас mongod.exe был запущен?

[support]

@blackhacker said in BrowserAutomationStudio 18.0.0 has been released | Выпущена 18.0.0 версия BrowserAutomationStudio:

Не все данные корректно экранируются кавычками. Если хранить в базе юзер агенты, то при запросе в базу не все из них парсятся правильно. Даже при экспорте базы данных в csv видно, что не все строки с user_agent заключены в кавычки.

Исправил, спасибо

[blackhacker]

@support Минимальный проект наверно не получится, раз у вас не вылетает. В SiteVisitorPremium вылеты, я его обновил в магазине, можно на нем проверить. Вот база, на которой вылетает, возможно, из-за большого количества данных в базе
https://yadi.sk/d/jUeWug7O3Goa4j
Происходит в скомпилированном скрипте, после падения остается запущен mongod.exe
А лог пригодился, который я прикрепил?

[support]

@blackhacker

Минимальный проект наверно не получится, раз у вас не вылетает.

Не факт, что у меня не будет вылетать на вашем. Проверяю.

Происходит в скомпилированном скрипте

Это только в скомпилированном, если запускать через БАС, то все норм?

А лог пригодился, который я прикрепил?

Не очень(

[blackhacker]

@support Сегодня проверю проект через BAS, отпишу. А в чем разница? Вроде же софт одинаковый, просто элементов управления нет
Еще странно - при 25 потоках не вылетает, при 30 - стабильно вылетает. Памяти свободной еще много в запасе.

[support]

@blackhacker Если не воспроизводится в БАС, то делать отладочную версию нет смысла.
Я только что попробовал с SiteVisitorPremium в 50 потоков, вылетов не было.
У вас мой скрипт работает?
Попробуйте пожалуйста сделать проект, где только запись и чтение из базы и проверить его.

[blackhacker]

@support Вы с базой проверяли, которую я прикрепил?
Сейчас проверю SiteVisitorPremium в BAS и ваш скрипт для запросов в базу в скомилированном варианте, сразу же отпишу