Проверить существование в ресурсе, удаление по значению

[DrPrime]

1.Суть - блок, с помощью которого можно проверить, есть ли заданная строка в ресурсе или нет.
Зачем - очень удобно будет использоваться для блеклистов.

Сейчас что бы сделать такое, нужно перед первой проверкой загнать ресурс в список и сделать проверку на существования. При больших блеклистах и большому количеству потоков это сильно нагружает ОЗУ.
Хотелось бы иметь функцию, которая бы проверяла без перегона в список.

2.Добавить возможность удалять ресурс заданному значению, а не просто текущий

[ruzne]

брать из ресурса с удаление, если удалять не надо дописывать в ресурс.

[Antonio]

@ruzne said in Проверить существование в ресурсе, удаление по значению:

если удалять не надо дописывать в ресурс

... и брать по второму кругу.

[GamiD]

Предлагал уже такую идею много умных людей нашлись :D зачем такое предлагать ни кому не нужно можно в список записать или использовать базу и т.д.

[DrPrime]

@GamiD
Базу из за одного блеклиста прикручивать - бред.
В список - затратно по оперативе

[GamiD]

@DrPrime Я тоже самое говорил очень удобно было бы если сделать проверку на существование в ресурсе или извлечь все подходящие данные по регулярке из ресурса

[ruzne]

@DrPrime said in Проверить существование в ресурсе, удаление по значению:

@GamiD
Базу из за одного блеклиста прикручивать - бред.

а что бы и не базу, я честно смотрел видео и эти от некоторых пользователей и от разработчиков, так прямо такой пример с базой данных и как их там группами был.

@Antonio said in Проверить существование в ресурсе, удаление по значению:

... и брать по второму кругу.

через промежуточный ресурс или список, все быстрее.

@GamiD said in Проверить существование в ресурсе, удаление по значению:

@DrPrime Я тоже самое говорил очень удобно было бы если сделать проверку на существование в ресурсе или извлечь все подходящие данные по регулярке из ресурса

а будет ли быстрее в итоге чем через список? всм, чтобы проверить есть ли елемент в ресурсе/списке его(ресурс/список) нужно полностью читать хранить. и регулярка - строка, не строка - не регулярка.

[DrPrime]

@ruzne так он уже храниться в списке, просто ты его не видишь

[ruzne]

@DrPrime э, тоесть если я имею ресурс он же файл, использую ресурс, то весь файл в списке? вот это поворот. а ресурс база данных тоже список?

[DrPrime]

@ruzne да

[ruzne]

@DrPrime said in Проверить существование в ресурсе, удаление по значению:

@ruzne да

не, ну че правдо чтоли? ну как так то?

[Antonio]

@DrPrime, не, ресур - это не скрытый список точно. @ruzne прав, там скорее построчная работа с файлом. В оперативку массив не грузится. Я так понимаю, что прога Penguin для работы с ключевыми словами также работает. Т.е. если у тебя в ресурсе большой файл с кучей строк, то это дело будет довольно долго обрабатываться в любом случае. И без многопотока, видимо.

[ruzne]

@Antonio не я то так понял что все так может и оказаться, ведь нужно както хранить информацию о том какие строки в файле использованы, допустим если с файла берется каждая строка по одному разу, ну ладно если по проядку, можно смещение запоминать и этого достаточно будет, а если поставить мешать строки? ну всм, еще раз, как знать какие строки уже были использованы а какие нет?

[Antonio]

@ruzne, можно хранить список с номерами использованных строк.

[ruzne]

@Antonio еще пофантазируем, может массив обектов

{
Смещение от начала файла:
Длинна строки:
Колличество использований:
чето еще:
}

[DrPrime]

@ruzne @Antonio
Файл читается полностью при старте и хранится в памяти.
Могу предположить что все хранится одним списком, а так же для каждого хранится количество удач и неудач, а так же данные, сколько потоков используют конкретную строку

[Antonio]

@DrPrime, ты пробовал в ресурс положить файл, который больше, чем у тебя оперативки?

[DrPrime]

@Antonio
Да. Бас вылетает.
Проведите експеримент
Создайте русурс, с галочкой чтение.
Включите запись скрипта.
Посмотрите сколько оперативы занимает бас и воркер
Потом в ресурсе снимиье галочку чтение, и поставьте галочку запись.
Повторите замеры

[ruzne]

@DrPrime да я действительно это и получил попарсив файл на 30+ гигов, только, на сколько я увидел файл грузится не весь сразу а последовательно, начало фала у меня удачно распарсено, позже вместо результатов идут пустые строки и так до падения

perl рулит, 8 строк крайне тупого кода, грызут 30 Гигобайт и не чирикают.

[support]

@DrPrime Улучшено старое апи для работы с ресурсами.
RMap("ИМЯ РЕСУРСА") возвращает объект, который имеет несколько полезных методов:

//Возвращает количество элементов в ресурсе.
length()

//Получает элемент по индексу.
at(index)

//Изменяет элемент ресурса с заданным индексом.
set(index, value)

//Поиск элемента, возвращает найденный индекс или -1.
indexOf(value)

//Удалить элемент по индексу.
remove(index)

//Добавить новый элемент в ресурс.
insert(value)

//Синхронизировать ресурс, для файла - поместить все элементы ресурса в файл.
sync()

//Получить несколько разных случайных элемента из ресурса. Работает очень быстро.
random(size)

//Вернуть список, который содержит все элементы из ресурса.
toList()

//Подгрузить ресурс из файла.
reload()

Простой пример использования, вывести все элементы ресурса:

var lines = RMap("lines")
for(var i = 0;i<lines.length();i++)
    log(lines.at(i))

Проверить, существует ли строка в ресурсе:

var index = lines.indexOf("account1")
if(index >= 0)
   log("Строка существует")
else
   log("Строка не существует")

Удалить элемент ресурса по значению

var index = lines.indexOf("account1")
lines.remove(index)

Удалить элемент ресурса по значению и записать изменения в файл.

var index = lines.indexOf("account1")
lines.remove(index)
lines.sync()

Новое апи будет доступно в следующем билде.
Модуль ресурсы тоже будет обновлен, но вместе с интерактивной документацией.