BrowserAutomationStudio 18.0.0 has been released | Выпущена 18.0.0 версия BrowserAutomationStudio

[support]

@blackhacker said in BrowserAutomationStudio 18.0.0 has been released | Выпущена 18.0.0 версия BrowserAutomationStudio:

Как же мне тогда выбрать определенную запись, у которой время, указанное в last_time, меньше определенного значения?

Ну точно так же сравнивать 2 даты

[support]

@blackhacker https://bablosoft.com/distr/BrowserAutomationStudioDevelopment/18.0.1/BrowserAutomationStudioInstallAllInOne.exe

вот версия с фиксом, там и фильтр по числам работает.

[blackhacker]

@support При использовании базы начал вылетать скрипт.. Время, после которого вылетает, зависит от количества потоков. В каждом потоке по мере надобности делается запрос в базу, затем сохранение (не чаще одного раза в 2-3 минуты на один поток, запущено 40 потоков). При 25 потоках не вылетает.
debug.txt (если нужен): 0_1491373900740_debug.txt

[blackhacker]

@support Не все данные корректно экранируются кавычками. Если хранить в базе юзер агенты, то при запросе в базу не все из них парсятся правильно. Даже при экспорте базы данных в csv видно, что не все строки с user_agent заключены в кавычки.
Часть данных из файла csv:

Из такого скрипта

получается такой лог (лишнее убрал, первые 2 итерации цикла в логе правильные, остальные - нет):

[21:33:15] Поток №1 : hash: 3761e5c4733742374ba4795bb2ae7f72
[21:33:15] Поток №1 : user-agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0
[21:33:15] Поток №1 : random: 48
[21:33:15] Поток №1 : id: 58e519e4c4886f2b124c1186
[21:33:15] Поток №1 : hash: 9418a90b1841d8b81b0c3b2a95ca70d3
[21:33:15] Поток №1 : user-agent: Mozilla/5.0 (Windows NT 10.0; rv:47.0) Gecko/20100101 Firefox/47.0
[21:33:15] Поток №1 : random: 36
[21:33:15] Поток №1 : id: 58e519e4c4886f2b124c1187
[21:33:15] Поток №1 : hash: afa4cce83ea3fb758e268844233a672b
[21:33:15] Поток №1 : user-agent: Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML
[21:33:15] Поток №1 : random:  like Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.10240
[21:33:15] Поток №1 : id: 45
[21:33:15] Поток №1 : hash: 8c27b0d66a7ea6cec5dda9979cc92bd3
[21:33:15] Поток №1 : user-agent: Mozilla/5.0 (Windows NT 10.0
[21:33:15] Поток №1 : random:  Win64
[21:33:15] Поток №1 : id:  x64) AppleWebKit/537.36 (KHTML

P.S. баг не критичный, но все равно наверное требует исправления.

[support]

@blackhacker said in BrowserAutomationStudio 18.0.0 has been released | Выпущена 18.0.0 версия BrowserAutomationStudio:

При использовании базы начал вылетать скрипт.. Время, после которого вылетает, зависит от количества потоков. В каждом потоке по мере надобности делается запрос в базу, затем сохранение (не чаще одного раза в 2-3 минуты на один поток, запущено 40 потоков). При 25 потоках не вылетает.
debug.txt (если нужен): 0_1491373900740_debug.txt

Я пробовал добавлять запись и делать запрос в 100 потоков каждую секунд, вылетов не было.
0_1491760652487_dbbb.xml

Можете приложить минимальный проект с ошибкой?
Это происходит только после компиляции или в БАС тоже?
Также есть баг, если убить процесс монго, бас тоже упадет, во время падения у вас mongod.exe был запущен?

[support]

@blackhacker said in BrowserAutomationStudio 18.0.0 has been released | Выпущена 18.0.0 версия BrowserAutomationStudio:

Не все данные корректно экранируются кавычками. Если хранить в базе юзер агенты, то при запросе в базу не все из них парсятся правильно. Даже при экспорте базы данных в csv видно, что не все строки с user_agent заключены в кавычки.

Исправил, спасибо

[blackhacker]

@support Минимальный проект наверно не получится, раз у вас не вылетает. В SiteVisitorPremium вылеты, я его обновил в магазине, можно на нем проверить. Вот база, на которой вылетает, возможно, из-за большого количества данных в базе
https://yadi.sk/d/jUeWug7O3Goa4j
Происходит в скомпилированном скрипте, после падения остается запущен mongod.exe
А лог пригодился, который я прикрепил?

[support]

@blackhacker

Минимальный проект наверно не получится, раз у вас не вылетает.

Не факт, что у меня не будет вылетать на вашем. Проверяю.

Происходит в скомпилированном скрипте

Это только в скомпилированном, если запускать через БАС, то все норм?

А лог пригодился, который я прикрепил?

Не очень(

[blackhacker]

@support Сегодня проверю проект через BAS, отпишу. А в чем разница? Вроде же софт одинаковый, просто элементов управления нет
Еще странно - при 25 потоках не вылетает, при 30 - стабильно вылетает. Памяти свободной еще много в запасе.

[support]

@blackhacker Если не воспроизводится в БАС, то делать отладочную версию нет смысла.
Я только что попробовал с SiteVisitorPremium в 50 потоков, вылетов не было.
У вас мой скрипт работает?
Попробуйте пожалуйста сделать проект, где только запись и чтение из базы и проверить его.

[blackhacker]

@support Вы с базой проверяли, которую я прикрепил?
Сейчас проверю SiteVisitorPremium в BAS и ваш скрипт для запросов в базу в скомилированном варианте, сразу же отпишу

[support]

@blackhacker

@support Вы с базой проверяли, которую я прикрепил?

Да.

[blackhacker]

@support Еще баг или недоработка - ни в какую не получается загрузить сохраненные значения из проекта. Сохранял в скомпилированном скрипте, загрузить пытаюсь в скрипте, запущенном в BAS.

[blackhacker]

@support В BAS скрипт не вылетает, только в скомпилированном варианте, на другом компе. Но версия винды одинаковая на обоих машинах (один дистрибутив)

[support]

@blackhacker Хорошо, а можете еще проверить как будет работать в скомпилированной бесплатной версии

[blackhacker]

@support Не совсем понял, как в бесплатной скомпилированной? Я и так на бесплатной версии проверял, скомпилированный вариант давно вылетает, но только что проверил, запустив проект через BAS - вылетов не было

[blackhacker]

@support На ноутбуке в скомпилированной версии и через BAS не вылетает. На обычном пк вылетает. Один дистрибутив винды, оперативки хватает. Более того, на ноутбук для теста скопировал скомпилированный скрипт с пк, и на ноутбуке он не вылетает. Не знаю даже, в чем может быть причина. Единственное, что в голову приходит - либо процессор как-то влияет (на компе он слабее), либо при подключении\отключении удаленного рабочего стола, либо как-то создание базы влияет.

[support]

@blackhacker

Я и так на бесплатной версии проверял, скомпилированный вариант давно вылетает

Хорошо, я за сегодня приготовлю вам отладочную версию и будем знать точно.

Только можете еще глянуть сразу после вылета сообщения в журнале событий и сделать скрин.
win+R -> eventvwr.msc -> Журналы Windows -> Приложение

[blackhacker]

@support

Имя журнала:   Application
Источник:      Application Error
Дата:          13.04.2017 0:14:37
Код события:   1000
Категория задачи:(100)
Уровень:       Ошибка
Ключевые слова:Классический
Пользователь:  Н/Д
Компьютер:     blackhacker-ПК
Описание:
Имя сбойного приложения: FastExecuteScript.exe, версия: 0.0.0.0, отметка времени: 0x58e29def
Имя сбойного модуля: Engine.dll, версия: 0.0.0.0, отметка времени 0x58e29dee
Код исключения: 0xc0000005
Смещение ошибки: 0x0000000000073b92
Идентификатор сбойного процесса: 0x1f74
Время запуска сбойного приложения: 0x01d2b2d55b4779ea
Путь сбойного приложения: D:\surf\SiteVisitorPremium\appslocal\SIDb5e58936dbdc1077f41ba3262313c4733bf871641b07de0f806aaa941dd1908b\engine\FastExecuteScript.exe
Путь сбойного модуля: D:\surf\SiteVisitorPremium\appslocal\SIDb5e58936dbdc1077f41ba3262313c4733bf871641b07de0f806aaa941dd1908b\engine\Engine.dll
Код отчета: 44a8949d-1fb4-11e7-ad28-485b3993f880
Xml события:
<Event xmlns="http://schemas.microsoft.com/win/2004/08/events/event">
  <System>
    <Provider Name="Application Error" />
    <EventID Qualifiers="0">1000</EventID>
    <Level>2</Level>
    <Task>100</Task>
    <Keywords>0x80000000000000</Keywords>
    <TimeCreated SystemTime="2017-04-12T19:14:37.000000000Z" />
    <EventRecordID>1770</EventRecordID>
    <Channel>Application</Channel>
    <Computer>blackhacker-ПК</Computer>
    <Security />
  </System>
  <EventData>
    <Data>FastExecuteScript.exe</Data>
    <Data>0.0.0.0</Data>
    <Data>58e29def</Data>
    <Data>Engine.dll</Data>
    <Data>0.0.0.0</Data>
    <Data>58e29dee</Data>
    <Data>c0000005</Data>
    <Data>0000000000073b92</Data>
    <Data>1f74</Data>
    <Data>01d2b2d55b4779ea</Data>
    <Data>D:\surf\SiteVisitorPremium\appslocal\SIDb5e58936dbdc1077f41ba3262313c4733bf871641b07de0f806aaa941dd1908b\engine\FastExecuteScript.exe</Data>
    <Data>D:\surf\SiteVisitorPremium\appslocal\SIDb5e58936dbdc1077f41ba3262313c4733bf871641b07de0f806aaa941dd1908b\engine\Engine.dll</Data>
    <Data>44a8949d-1fb4-11e7-ad28-485b3993f880</Data>
  </EventData>
</Event>

[support]

@blackhacker

c0000005

Отлично, смотрите, я сейчас соберу отладочную версию, пришлю ее вам, ее нужно запустить подождать пока упадет и прислать дамп, я увижу в чем ошибка и исправлю. Отладочную версию кину в личку через пару часов или завтра утром.