Проверка на уникальность

[assd]

Подскажите можно как то в БАС сделать проверку на уникальность то есть:
Я спарсил текст в файл ,этот текст содержит много одинакового текста разделённого запятой.
Могу ли я как то удалить близнецов(автоматически),чтобы потом этот текс отправить на другой сайт
Спарсил>проверил на уникальность>удалил лишнее>

[Fox]

@assd

текст содержит много одинакового текста разделённого запятой.

Если это массив (список), то можно через модуль список >> Удалить Дубликаты