Как изменить кодировку при записи файла

[Fox]

@avtopars

Вы говорили что пользуетесь утилиткой давно

Где я такое говорил?

Например csv оригинал имеет 130 строк выходной подрезает и получается 100 или 25-75 как получится...

Приложите проблемый файл к сообщению. посмотрю в чём может быть причина

[avtopars]

В общем проблема более менее понятна.
Встречаются разные символы на источнике которые утилита не читает или не понимает, если их заменять на что-то тогда конвертится нормально без обрезок.
Символы которые встречаются в разных случаях разные,тут помоему общего решения нет. В каждом отдельном случае нужно смотреть на чем затык и добавлять его в обработку

[avtopars]

Как пример слова не нашего алфавита Pułaskiego Namysłów
ну и вот на символах ł ó и будет обрезка
Ну и символы типа 89×65×92 см где встретится × там и порежет
@fox может есть мысли по поводу решения проблемы?

[avtopars]

Обратился к разработчику за помощью в решении проблемы с конвертацией.
Выложу это тут для будущих поколений ))
Через node js проблема решается полностью, для работы нужно поставить модуль encoding
Следующий код решает проблемы

var fs = require('fs');
var encoding = require('encoding');

//Читаем файл в utf-8 кодировке(BAS всегда сохраняет в utf-8)
var text = fs.readFileSync('C:/dev/encoding/text.txt', 'UTF-8');

//Конвертим
var result = encoding.convert(text, 'WINDOWS-1251', 'UTF-8');

//Пишем в файл
fs.writeFileSync('C:/dev/encoding/converted.txt', result);

Код если пути у нас в переменных

var fs = require('fs');
var encoding = require('encoding');

//Читаем файл в utf-8 кодировке(BAS всегда сохраняет в utf-8)
var text = fs.readFileSync([[NEW_VARIABLE]] + '111.csv', 'UTF-8');

//Конвертим
var result = encoding.convert(text, 'WINDOWS-1251', 'UTF-8');

//Пишем в файл
fs.writeFileSync([[NEW_VARIABLE2]] + '222.csv', result);

Отдельная благодарность @fox за участие и консультации

[allive]

@avtopars Пасиб, не только будущих но и счас. В лайв хаки можно смело. Правда с "узлами" не все дружат.. Пойдут вопросы как))

[kain]

@fox возможно это только в лайброфис.
Сейчас новый прикол) Конвертирую после каждой записи и сейчас перестал дописывать сконвертированный файл после того, как он начинает весить где-то 13кб) Хрен знает почему)

[hamov]

@fox Перезаписываю кодировку файла csv по вашему проекту. Почему то перезаписывается только первая строчка, а остальные удаляются.

[saanneekk]

Сработал вариант @avtopars при сохранении.
Но потом когда BAS открывает заново этот файл он уже нечитаем.
Как его при открытии сконвертировать обратно в UTF-8
Пробовал заменить этот же вариант так:

var fs = require('fs');
var encoding = require('encoding');

//Читаем файл в utf-8 кодировке(BAS всегда сохраняет в utf-8)
var text = fs.readFileSync([[NEW_VARIABLE]] + '111.csv', 'WINDOWS-1251');

//Конвертим
var result = encoding.convert(text, 'UTF-8', 'WINDOWS-1251');

//Пишем в файл
fs.writeFileSync([[NEW_VARIABLE2]] + '222.csv', result);

Но ничего не получилось, кто-то знает решение? Спасибо.

[A Former User]

@saanneekk

const fs = require('fs');
const encoding = require('encoding');

let text = fs.readFileSync('./1251.txt');
text = encoding.convert(text, 'UTF-8', 'WINDOWS-1251');
fs.writeFileSync('./utf8.txt', text);

[mocard]

This post is deleted!