cp866 в java

Vitaliy Aksyonov написал(а) к All в Apr 17 02:51:54 по местному времени:

Привет, All!

* Оригинал написан в ru.java
* Скопировано в ru.ftn.develop

Столкнулся со следующей проблемой.
Декодирую текст из кодировки CP866 с помощью CharsetDecoder.
Так вот для всей псевдографики нет конвертации в стандартных декодерах. :(
Можно, конечно, создать свои с блэклджеком и псевдрографикой, но сильно подозреваю, что это уже может где-то быть реализовано.
icu4j тоже попробовал. Там та же ситуация.
Сталкивался ли кто-то с подобной проблемой и как решили?

С наилучшими пожеланиями, Vitaliy.

... 10.0 times 0.10 is hardly ever 1.00.
--- GoldED+/LNX 1.1.5-b20160201

Sergey Poziturin написал(а) к Vitaliy Aksyonov в Apr 17 09:38:35 по местному времени:

Нello, Vitaliy Aksyonov.
On 15.04.17 2:51 ДП you wrote:

VA> Столкнулся со следующей проблемой. Декодирую текст из кодировки
VA> CP866 с помощью CharsetDecoder. Так вот для всей псевдографики нет
VA> конвертации в стандартных декодерах. :( Можно, конечно, создать
VA> свои с блэклджеком и псевдрографикой, но сильно подозреваю, что
VA> это уже может где-то быть реализовано. icu4j тоже попробовал. Там
VA> та же ситуация. Сталкивался ли кто-то с подобной проблемой и как
VA> решили?

Сталкивались. Единственный твой выход - писать свой кодировщик. Многие рантаймы вообще не поддерживают однобайтовые кодировки. Например на андроиде такой трабл. Могу дать свои таблички для 866, 878 и 1251, если хочешь.

--
Best regards!
Posted using Нotdoged on Android
--- Нotdoged/2.13.5/Android

Vitaliy Aksyonov написал(а) к Sergey Poziturin в Apr 17 18:42:16 по местному времени:

Привет, Sergey!

15 апр 17 09:38, Sergey Poziturin -> Vitaliy Aksyonov:

VA>> Столкнулся со следующей проблемой. Декодирую текст из кодировки
VA>> CP866 с помощью CharsetDecoder. Так вот для всей псевдографики
VA>> нет конвертации в стандартных декодерах. :( Можно, конечно,
VA>> создать свои с блэклджеком и псевдрографикой, но сильно
VA>> подозреваю, что это уже может где-то быть реализовано. icu4j тоже
VA>> попробовал. Там та же ситуация. Сталкивался ли кто-то с подобной
VA>> проблемой и как решили?
SP> Сталкивались. Единственный твой выход - писать свой кодировщик. Многие
SP> рантаймы вообще не поддерживают однобайтовые кодировки. Например на
SP> андроиде такой трабл. Могу дать свои таблички для 866, 878 и 1251,
SP> если хочешь.

Копнул глубже. Оказывается, все там есть. Просто кодировка консоли в eclipse стоит cp1251. Поменял на utf-8 - и псевдографика отобразилась.
А вот то, что этих кодировок может не быть в какой-то конкретной jre - это грустно...
Как тогда такая мысль? Добавить возможность загружать таблицы перекодировки из файлов. Если файла под конкретную кодировку нет, пробовать использовать системную.
Собственно, дальше встает вопрос - заморачиваться с многобайтовыми кодировками, или пока сделать только для одобайтовых?

Таблицы кодировок в удобном виде нашел тут:
ftp://www.unicode.org/Public/MAPPING...ORS/MICSFT/PC/

С наилучшими пожеланиями, Vitaliy.

... 10.0 times 0.10 is hardly ever 1.00.
--- GoldED+/LNX 1.1.5-b20160201

Sergey Poziturin написал(а) к Vitaliy Aksyonov в Apr 17 22:26:28 по местному времени:

Нi, Vitaliy!

15 апр 17 18:42, Vitaliy Aksyonov -> Sergey Poziturin:

VA>>> Столкнулся со следующей проблемой. Декодирую текст из кодировки
VA>>> CP866 с помощью CharsetDecoder. Так вот для всей псевдографики
VA>>> нет конвертации в стандартных декодерах. :( Можно, конечно,
VA>>> создать свои с блэклджеком и псевдрографикой, но сильно
VA>>> подозреваю, что это уже может где-то быть реализовано. icu4j
VA>>> тоже попробовал. Там та же ситуация. Сталкивался ли кто-то с
VA>>> подобной проблемой и как решили?
SP>> Сталкивались. Единственный твой выход - писать свой кодировщик.
SP>> Многие рантаймы вообще не поддерживают однобайтовые кодировки.
SP>> Например на андроиде такой трабл. Могу дать свои таблички для
SP>> 866, 878 и 1251, если хочешь.
VA> Копнул глубже. Оказывается, все там есть. Просто кодировка консоли в
VA> eclipse стоит cp1251. Поменял на utf-8 - и псевдографика отобразилась.
VA> А вот то, что этих кодировок может не быть в какой-то конкретной jre -
VA> это грустно... Как тогда такая мысль? Добавить возможность загружать
VA> таблицы перекодировки из файлов. Если файла под конкретную кодировку
VA> нет, пробовать использовать системную.

Норм.

VA> Собственно, дальше встает
VA> вопрос - заморачиваться с многобайтовыми кодировками, или пока сделать
VA> только для одобайтовых?

Тут надо понять, что вообще сейчас используется, ну и в перспективе. По идее все современные кодировке в рантайме уже есть, так что тебе с ними особо ничего делать не нужно.

--
[ vbane72@yandex.ru ] [2:5020/2141] [ Нotdogs 4ever ]
http://vp.propush.ru
--- binkd/1.1a-94/Darwin | hpt/mac 1.9.0-cur | GoldED+/OSX 1.1.5-b20170303

Vitaliy Aksyonov написал(а) к Sergey Poziturin в Apr 17 00:48:36 по местному времени:

Привет, Sergey!

15 апр 17 22:26, Sergey Poziturin -> Vitaliy Aksyonov:

VA>>>> Столкнулся со следующей проблемой. Декодирую текст из кодировки
VA>>>> CP866 с помощью CharsetDecoder. Так вот для всей псевдографики
VA>>>> нет конвертации в стандартных декодерах. :( Можно, конечно,
VA>>>> создать свои с блэклджеком и псевдрографикой, но сильно
VA>>>> подозреваю, что это уже может где-то быть реализовано. icu4j
VA>>>> тоже попробовал. Там та же ситуация. Сталкивался ли кто-то с
VA>>>> подобной проблемой и как решили?
SP>>> Сталкивались. Единственный твой выход - писать свой кодировщик.
SP>>> Многие рантаймы вообще не поддерживают однобайтовые кодировки.
SP>>> Например на андроиде такой трабл. Могу дать свои таблички для
SP>>> 866, 878 и 1251, если хочешь.
VA>> Копнул глубже. Оказывается, все там есть. Просто кодировка
VA>> консоли в eclipse стоит cp1251. Поменял на utf-8 - и
VA>> псевдографика отобразилась. А вот то, что этих кодировок может не
VA>> быть в какой-то конкретной jre - это грустно... Как тогда такая
VA>> мысль? Добавить возможность загружать таблицы перекодировки из
VA>> файлов. Если файла под конкретную кодировку нет, пробовать
VA>> использовать системную.
SP> Норм.

Так и сделаю тогда.

VA>> Собственно, дальше встает
VA>> вопрос - заморачиваться с многобайтовыми кодировками, или пока
VA>> сделать только для одобайтовых?
SP> Тут надо понять, что вообще сейчас используется, ну и в перспективе.
SP> По идее все современные кодировке в рантайме уже есть, так что тебе с
SP> ними особо ничего делать не нужно.

ОК. Тогда я заморочусь пока только с кастомизацией однобайтовых кодировок. Остальные кодировки если понадобятся, буду пробовать использовать системные.

ЗЫ. У меня в последнее время не получалось много работать над либой, но я уже заканчиваю чтение JAM баз. Планирую скоро доделать и выложить на github. Потом посмотришь, что получилось, может что-то придется переделать, а я буду дальше заниматься Squish базами. Там уже должно быстрее пойти.

С наилучшими пожеланиями, Vitaliy.

... 10.0 times 0.10 is hardly ever 1.00.
--- GoldED+/LNX 1.1.5-b20160201

Sergey Poziturin написал(а) к Vitaliy Aksyonov в Apr 17 09:07:49 по местному времени:

Нello, Vitaliy Aksyonov.
On 16.04.17 12:48 ДП you wrote:

VA> ЗЫ. У меня в последнее время не получалось много работать над
VA> либой, но я уже заканчиваю чтение JAM баз. Планирую скоро доделать
VA> и выложить на github. Потом посмотришь, что получилось, может
VA> что-то придется переделать, а я буду дальше заниматься Squish
VA> базами. Там уже должно быстрее пойти.

Круто, я тоже уже продумал, как что будет архитектурно.

--
Best regards!
Posted using Нotdoged on Android
--- Нotdoged/2.13.5/Android